自己注意の理論的限界の克服【JST・京大機械翻訳】

Chiang David; Cholak Peter

プレプリント

J-GLOBAL ID：202202204385929381 整理番号：22P0294784

自己注意の理論的限界の克服【JST・京大機械翻訳】

Overcoming a Theoretical Limitation of Self-Attention

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年02月24日プレプリントサーバーでの情報更新日： 2022年02月24日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

変圧器は,多くのタスクに対して著しく効果的であるが,それらは驚くほど容易に見える規則正しい言語がある。Hahnは,受容が単一入力シンボルに依存する言語に対して,変圧器の分類決定は,入力ストリングが長くて長いときに,より少なく,より信頼性が低い(すなわち,1ビットあたり1ビットに接近する)ことを示した。2つの言語:PARITY,奇数数1sのビットストリングの言語,およびFIRST,1から開始するビットストリングの言語,を用いてこの限界を調べた。Hahnの補題によって示唆された限界を克服する3つの方法を示した。最初に,PARITYを完全精度で認識し,FIRSTに対して同様に,変圧器を構築することにより未解決質問を解いた。第二に,ゼロに近い両方のモデルの交差エントロピーをもたらすために層正規化を使用した。第3に,変圧器がFIRSTに関して単一位置に焦点を合わせる必要があるとき,著者らはそれらがより長いストリングに一般化できないことを発見した。機械翻訳における長さ一般化も改善する,この問題に対する簡単な改善を提供した。【JST・京大機械翻訳】

, , , , , , , ,
, 【Automatic Indexing@JST】

量子力学一般 , その他の情報工学基礎理論 , 変復調回路 , 半導体集積回路

, , ,

前のページに戻る