小型データ集合上のより深い変圧器の最適化【JST・京大機械翻訳】

Xu Peng; Kumar Dhruv; Yang Wei; Zi Wenjie; Tang Keyi; Huang Chenyang; Cheung Jackie Chi Kit; Prince Simon J. D.; Cao Yanshuai

プレプリント

J-GLOBAL ID：202202220498718285 整理番号：21P0072354

小型データ集合上のより深い変圧器の最適化【JST・京大機械翻訳】

Optimizing Deeper Transformers on Small Datasets

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (9件)： , , , , , , , ,
資料名：
発行年： 2020年12月30日プレプリントサーバーでの情報更新日： 2021年05月31日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

スクラッチから深い変圧器を訓練することは,大きなデータセットを必要とするという一般的な信念である。その結果,小さなデータセットに対して,人々は,通常,微調整中の事前訓練モデルの上部に浅くて単純な追加層を使用する。本研究は,適切な初期化と最適化を伴う場合は常に必要でないことを示し,非常に深い変圧器の利益は,Text-to-SQLの意味構文解析や論理的読解理解を含む,小さなデータセットで挑戦的なタスクを越えることができる。特に,予訓練RoBERTaから24の微調整層およびスクラッチから訓練された24の関係意識層から成る変圧器の48層を首尾よく訓練した。より少ない訓練ステップとタスク固有の事前訓練なしで,著者らは挑戦的な交差ドメインText-to-SQL構文解析ベンチマークSpiderに関する最先端の性能を得る。事前のT-Fixup作業に触発された,新しいデータ依存変換器固定更新初期化方式(DT-Fixup)の導出によってこれを達成した。更なる誤差解析は,深さの増加が,推論と構造理解を必要とするハードケースのための小さなデータセットに関する一般化を改善するのを助けることができることを示した。【JST・京大機械翻訳】

, , , , ,
, , , , 【Automatic Indexing@JST】

人工知能

, ,

前のページに戻る