少数ショット微調整における予訓練言語モデルの病理学【JST・京大機械翻訳】

Chen Hanjie; Zheng Guoqing; Awadallah Ahmed Hassan; Ji Yangfeng

プレプリント

J-GLOBAL ID：202202207468327170 整理番号：22P0333327

少数ショット微調整における予訓練言語モデルの病理学【JST・京大機械翻訳】

Pathologies of Pre-trained Language Models in Few-shot Fine-tuning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年04月17日プレプリントサーバーでの情報更新日： 2022年04月17日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

少数の例による事前訓練言語モデルの適用は,テキスト分類に関して有望な性能を示したが,性能利得が来るところの理解が不足している。本研究では,モデル予測からの事後説明を用いて適応挙動を解釈することによりこの問題に答えることを提案する。説明の特徴をモデリングすることによって,著者らは,(1)微調整なしで,事前訓練モデル(例えば,BERTとRoBERTa)がラベルを通して強い予測バイアスを示すことを発見した。(2)少数ショット微調整は予測バイアスを緩和し,有望な予測性能を示すが,この解析は,非タスク関連特徴(例えば,停止単語)または浅いデータパターン(例えば,語彙重複)を捉えることによって,モデル利得性能改善を示す。これらの観察結果は,より少ない例によるモデル性能の追求が,病理学的予測挙動を引き起こし,それは,モデル予測に関する更なる衛生検査と,少数ショット微調整におけるモデル評価における注意深い設計を必要とすることを警告する。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

自然語処理 , 人工知能

, , , ,

前のページに戻る