同期による効率的な長いシーケンス符号化【JST・京大機械翻訳】

Mou Xiangyang; Yu Mo; Yao Bingsheng; Huang Lifu

プレプリント

J-GLOBAL ID：202202200106093508 整理番号：22P0304294

同期による効率的な長いシーケンス符号化【JST・京大機械翻訳】

Efficient Long Sequence Encoding via Synchronization

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年03月15日プレプリントサーバーでの情報更新日： 2022年03月15日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

事前訓練変換機モデルは,広範囲のNLPタスクにおいて成功を達成したが,長い入力シーケンスを扱うとき,非効率であった。既存の研究は,長いシーケンスを分割し,続いて階層的符号化または事後凝集により,この課題を克服することを試みた。階層的符号化のための同期機構を提案した。本手法は,まず,元の入力シーケンスにおけるそれらの役割によって,セグメントとグループを横断してアンカートークンを同定する。次に,内部変換層内で,アンカー埋込みを,自己注意モジュールを介してそれらのグループ内で同期した。提案アプローチは,新しいタスクに適応できる十分な柔軟性を持つ一般的なフレームワークであり,タスク特有のアンカー定義で強化するのが容易である。異なるタイプの長い入力テキスト,Narrative QA要約設定,およびHotpotQAからの野生マルチホップ推論による2つの代表的タスクに関する実験は,著者らのアプローチが効率を維持しながらセグメント間のグローバル情報交換を改良できることを示した。【JST・京大機械翻訳】

, , , , , , , ,
, , 【Automatic Indexing@JST】

人工知能

前のページに戻る