変圧器における文脈情報の混合の測定【JST・京大機械翻訳】

Ferrando Javier; Gallego Gerard I.; Costa-jussa Marta R.

プレプリント

J-GLOBAL ID：202202218474142191 整理番号：22P0300862

変圧器における文脈情報の混合の測定【JST・京大機械翻訳】

Measuring the Mixing of Contextual Information in the Transformer

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年03月08日プレプリントサーバーでの情報更新日： 2022年10月21日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

変圧器アーキテクチャは自己注意機構を通して入力情報を集約するが,この情報が全モデルにわたってどのように混合されるかの明確な理解はない。さらに,最近の研究は,注意重みだけでは情報の流れを記述するのに十分でないことを示した。本論文では,全体の注意ブロック-マルチヘッド注意,残差接続,および層正規化を考察し,各層内のトークン対トークン相互作用を測定する計量を定義した。次に,モデル予測のための入力属性スコアを提供するために,層別解釈を集約した。実験的に,著者らの方法,ALTI(層別トークン対トークン相互作用)は,勾配ベース法よりも,より忠実な説明とロバスト性の増加を提供することを示した。【JST・京大機械翻訳】

, , , , , , , ,
, , , 【Automatic Indexing@JST】

計算機網 , 検索技術 , 情報加工一般

前のページに戻る