語レベル敵対攻撃に対するロバストなテキスト埋込み【JST・京大機械翻訳】

Yang Yichen; Wang Xiaosen; He Kun

プレプリント

J-GLOBAL ID：202202208018252990 整理番号：22P0296429

語レベル敵対攻撃に対するロバストなテキスト埋込み【JST・京大機械翻訳】

Robust Textual Embedding against Word-level Adversarial Attacks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年02月28日プレプリントサーバーでの情報更新日： 2022年07月27日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

自然言語処理モデルの脆弱性を,類似した入力が埋込み空間で異種表現に変換され,矛盾した出力に導き,Fast Triplet Metric Learning(FTML)と呼ばれる新しいロバスト訓練法を提案した。特に,元の試料はその敵対者と類似の表現を持ち,より良いロバスト性のために他のサンプルからその表現を識別するべきであると主張する。この目的のために,著者らは,それらの陽性サンプル(すなわち,同義語)に近い単語を引くために,標準訓練に三重項メトリック学習を採用して,埋込み空間においてそれらの陰性サンプル(すなわち,非同義語)を押し出す。広範な実験は,FTMLが,元のサンプルで競合分類精度を維持しながら,様々な先進敵対攻撃に対するモデルロバスト性を著しく促進できることを示した。そのうえ,著者らの方式は,埋込みを調整するだけであり,標準訓練に関して非常に少ないオーバヘッドを導入するので,効率的である。本研究は,ロバストな単語埋込みを通してテキストロバスト性を改善する大きな可能性を示した。【JST・京大機械翻訳】

, , , , , , ,
, , , , , , 【Automatic Indexing@JST】

データ保護 , 人工知能

, , , ,

前のページに戻る