抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
変圧器は,多くのタスクに対して著しく効果的であるが,それらは驚くほど容易に見える規則正しい言語がある。Hahnは,受容が単一入力シンボルに依存する言語に対して,変圧器の分類決定は,入力ストリングが長くて長いときに,より少なく,より信頼性が低い(すなわち,1ビットあたり1ビットに接近する)ことを示した。2つの言語:PARITY,奇数数1sのビットストリングの言語,およびFIRST,1から開始するビットストリングの言語,を用いてこの限界を調べた。Hahnの補題によって示唆された限界を克服する3つの方法を示した。最初に,PARITYを完全精度で認識し,FIRSTに対して同様に,変圧器を構築することにより未解決質問を解いた。第二に,ゼロに近い両方のモデルの交差エントロピーをもたらすために層正規化を使用した。第3に,変圧器がFIRSTに関して単一位置に焦点を合わせる必要があるとき,著者らはそれらがより長いストリングに一般化できないことを発見した。機械翻訳における長さ一般化も改善する,この問題に対する簡単な改善を提供した。【JST・京大機械翻訳】