相関性のある非相関性:特徴的視点からのテキストスプリアス相関の克服【JST・京大機械翻訳】

Dou Shihan; Zheng Rui; Wu Ting; Gao SongYang; Shan Junjie; Zhang Qi; Wu Yueming; Huang Xuanjing

プレプリント

J-GLOBAL ID：202202220038868947 整理番号：22P0290660

相関性のある非相関性:特徴的視点からのテキストスプリアス相関の克服【JST・京大機械翻訳】

Decorrelate Irrelevant, Purify Relevant: Overcome Textual Spurious Correlations from a Feature Perspective

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2022年02月16日プレプリントサーバーでの情報更新日： 2022年09月13日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

自然言語理解(NLU)モデルは,分布中のデータセットで高性能を達成するが,分布外のものには貧弱な性能を達成するために,偽相関(即ち,データセットバイアス)に依存する傾向がある。既存の脱バイアス法の大部分は,バイアスされた特徴(すなわち,そのような偽相関を引き起こす表面特徴)を有するこれらのサンプルを同定し,弱める。しかし,これらの試料のダウン重みは,これらの試料の非バイアス部分からの学習におけるモデルを妨げる。この課題に取り組むために,本論文では,特徴空間透視から微細粒様式で偽相関を除去することを提案する。特に,ランダムFourier特徴および加重再サンプリングを導入し,偽相関を緩和する特徴間の依存性を解読した。脱相関特性を得た後に,著者らはさらに,それらを精製するために相互情報ベースの方法を設計して,それは,タスクに関連する特徴の学習にこのモデルを強制する。2つのよく研究されたNLUタスクに関する広範な実験は,著者らの方法が他の比較手法よりも優れていることを示した。【JST・京大機械翻訳】

, , , , , ,
, , , , , 【Automatic Indexing@JST】

パターン認識 , 人工知能

, , , ,

前のページに戻る