戦略的に研究:クローズドブックQAのためのマスクへの学習【JST・京大機械翻訳】

Ye Qinyuan; Li Belinda Z.; Wang Sinong; Bolte Benjamin; Ma Hao; Yih Wen-tau; Ren Xiang; Khabsa Madian

プレプリント

J-GLOBAL ID：202202218191987934 整理番号：21P0072855

戦略的に研究:クローズドブックQAのためのマスクへの学習【JST・京大機械翻訳】

Studying Strategically: Learning to Mask for Closed-book QA

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2020年12月31日プレプリントサーバーでの情報更新日： 2021年01月01日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

クローズドブック質問回答(QA)は,外部知識へのアクセスなしに質問に直接答えるモデルを必要とする挑戦的なタスクである。(質問,回答)事例による直接微調整前訓練言語モデルは,驚くほど競合性能をもたらし,これは,一般的予訓練と微調整の間の中間予訓練段階を追加することによりさらに改善されることを示した。以前の研究は,この中間段階の間に発見的手法を用いて,エンティティと日付をマスクし,モデルを訓練して,これらのトークンを復元した。本論文では,中間予訓練段階に対する最適マスキング戦略の学習を目的とした。最初に,下流タスク自体からの監督を用いて,テストされる可能性のあるスパンを抽出するため,著者らのマスキングポリシーを訓練し,次に,中間予訓練中に学習ポリシーを展開した。したがって,著者らの政策は言語モデルのパラメータにタスク関連知識をパックする。提案アプローチは,BARTをプレトレインするために使用するとき,強い発見的方法を上回るTriviaQAに特に有効である。【JST・京大機械翻訳】

, , , ,
, , 【Automatic Indexing@JST】

人工知能

, , , , ,

前のページに戻る