高トークン-内部複雑性のためのニューラルトークンセグメンテーション【JST・京大機械翻訳】

Brusilovsky Idan; Tsarfaty Reut

プレプリント

J-GLOBAL ID：202202208358820160 整理番号：22P0307495

高トークン-内部複雑性のためのニューラルトークンセグメンテーション【JST・京大機械翻訳】

Neural Token Segmentation for High Token-Internal Complexity

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年03月21日プレプリントサーバーでの情報更新日： 2022年03月21日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

単語ユニットへの生テキストのトークニングは,タグ付け,構文解析,エンティティ認識という名前のようなNLPパイプラインにおけるクリティカルタスクのための重要な前処理ステップである。ほとんどの言語に対して,このトークン化ステップは直接的である。しかし,高トークン内部複雑性を持つ言語に対しては,さらにトークンツーワードセグメンテーションが必要である。以前の正準セグメンテーション研究は,特徴レベルフレームワークに基づいており,文脈化された表現は含まれていない。文脈化したベクトルa BERTは,多くのアプリケーションにおいて顕著な結果を示すが,言語的セグメンテーションに関する性能を改善するとは示されていない。ここでは,両方の世界,文脈化トークン表現およびチャーレベル復号化の最良を結合した新しいニューラルセグメンテーションモデルを提案し,それは特に高いトークン内部複雑性および極端な形態学的曖昧さを有する言語に対して有効である。著者らのモデルは,最先端技術と比較して,Hebrewとアラビアのセグメンテーション精度の実質的な改善を示し,既存のパイプライン上で,Part-of-Speech Tagging,依存性Parsing,およびNamed-Entity認識のような下流タスクに関する更なる改善につながる。同一設定における関節セグメンテーションとラベリングとのセグメンテーション-第一パイプラインを比較するとき,事前神経研究とは対照的に,パイプライン性能が優れていることを示す。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

自然語処理 , 情報加工一般 , 検索技術

前のページに戻る