プレトレーニング目的は言語モデルが言語学的性質について何を学ぶか?【JST・京大機械翻訳】

Alajrami Ahmed; Aletras Nikolaos

プレプリント

J-GLOBAL ID：202202217508196184 整理番号：22P0307065

プレトレーニング目的は言語モデルが言語学的性質について何を学ぶか?【JST・京大機械翻訳】

How does the pre-training objective affect what large language models learn about linguistic properties?

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年03月19日プレプリントサーバーでの情報更新日： 2022年03月19日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

マスクされた言語モデリング(MLM)のようないくつかの事前訓練目的を,より良い言語表現を学習する目的で,言語モデル(例えばBERT)を事前訓練するために提案した。しかしながら,知る限りでは,今までの以前の研究は,異なる事前訓練目的が,どのBERTが言語学特性について学習するのかを調査した。著者らは,MLMのような言語学的に動機づけられた目的が,入力とラベル間の関連性を推測するために,人間にとって直感的で困難でない他の非言語的動機づけ目的と比較して,より良い言語知識を獲得するために,BERTを助けるべきであると仮定した。この目的のために,著者らは,2つの言語的に動機づけられた目的と3つの非言語的に動機づけられたものによって,BERTをプレトレインした。次に,得られたモデルの表現に符号化された言語特性を探索した。2つの異なる種類の目的によって学習された表現間のプロービング性能にわずかな違いがあるという強い証拠を見出した。これらの驚くべき結果は,言語学的にインフォームされた事前訓練の支配的なナラティブに疑問を投げかける。【JST・京大機械翻訳】

, , , , ,
, , , 【Automatic Indexing@JST】

自然語処理 , パターン認識

, , ,

前のページに戻る