ニューラルシーケンスモデルの構成的一般化能力の再検討【JST・京大機械翻訳】

Patel Arkil; Bhattamishra Satwik; Blunsom Phil; Goyal Navin

プレプリント

J-GLOBAL ID：202202212258851031 整理番号：22P0304052

ニューラルシーケンスモデルの構成的一般化能力の再検討【JST・京大機械翻訳】

Revisiting the Compositional Generalization Abilities of Neural Sequence Models

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年03月14日プレプリントサーバーでの情報更新日： 2022年03月14日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

構成的一般化は,人間における基本的形質であり,新しい文章を形成するために,既知の語句を無努力に組み込むことを可能にした。最近の研究では,標準seq-to-seqモデルが組成的に一般化する能力を欠いていることを主張した。本論文では,一般的なSCANベンチマークにより導入されたワンショットプリミティブ一般化に焦点を当てた。簡単で直感的な方法で訓練分布を修正することにより,標準seq-to-seqモデルがほぼ完全な一般化性能を達成することができ,それにより,それらの組成一般化能力が以前に過小評価されることを示した。この現象の詳細な経験的解析を行った。結果は,モデルの一般化性能が,将来,そのようなベンチマークを設計する際に注意深く考慮されるべきである訓練データの特性に非常に敏感であることを示した。【JST・京大機械翻訳】

, ,
, , 【Automatic Indexing@JST】

人工知能

前のページに戻る