予歪言語モデルの地理的適応【JST・京大機械翻訳】

Hofmann Valentin; Glavas Goran; Ljubesic Nikola; Pierrehumbert Janet B.; Schuetze Hinrich

プレプリント

J-GLOBAL ID：202202220835579721 整理番号：22P0305215

予歪言語モデルの地理的適応【JST・京大機械翻訳】

Geographic Adaptation of Pretrained Language Models

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月16日プレプリントサーバーでの情報更新日： 2024年01月28日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

事前訓練言語モデル(PLM)は言語知識の過多を所有することが示されているが,既存の研究では,テキストのみの事前訓練により獲得するのが一般的に困難である,超言語的知識をほとんど無視している。ここでは,地理知識,即ち,言語における地理的変動に関する知識を調べることにより,このギャップを閉じることに寄与する。著者らは,マルチタスク学習セットアップにおける地理位置予測と言語モデリングを結合する中間訓練ステップであるジオ適応を導入した。3つの地理的地域からの言語グループをカバーする4つのPLMを地理適応し,5つの異なるタスク,すなわち,微調整(すなわち,教師つき)地理位置予測,ゼロショット(すなわち教師なし)地理位置予測,微調整言語同定,ゼロショット言語同定,およびダイアクティック特徴のゼロショット予測,を評価した。地理適応は,PLMに地球的知識を注入するのに非常に成功し,ジオ適応PLMは,言語モデリングのみ(特にゼロショット予測タスクで広いマージンによる)を用いて適応したPLMを一貫して凌駕し,ジオロケーション予測と言語識別のための2つのベンチマークに関する新しい最先端技術を得た。さらに,地理適応の有効性は,PLMの表現空間を地理的に改める能力に由来することを示した。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , , , 【Automatic Indexing@JST】

人工知能 , パターン認識

, , ,

前のページに戻る