位置情報を学習する位置情報のない変圧器言語モデル【JST・京大機械翻訳】

Haviv Adi; Ram Ori; Press Ofir; Izsak Peter; Levy Omer

プレプリント

J-GLOBAL ID：202202203085150548 整理番号：22P0322855

位置情報を学習する位置情報のない変圧器言語モデル【JST・京大機械翻訳】

Transformer Language Models without Positional Encodings Still Learn Positional Information

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月30日プレプリントサーバーでの情報更新日： 2022年12月05日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

GPT-3のようなCausal変圧器言語モデル(LM)は,典型的には位置埋込みのような位置符号化のいくつかの形式を必要とする。しかし,明示的な位置符号化のないLMは,標準モデルとまだ競合しており,この現象は,異なるデータセット,モデルサイズ,およびシーケンス長にわたってロバストであることを示した。プロービング実験は,そのようなモデルがネットワークを通して絶対位置の陰的概念を獲得し,欠測情報を効果的に補償することを明らかにする。因果的注意は,各トークンが,その絶対位置を近似するのに,各トークンが参加できる先行者の数を推論することを可能にした。本知見は,因果LMが明示的位置決め機構だけでなく,原因マスクの効果からも位置認識を誘導するかもしれないことを示す。【JST・京大機械翻訳】

, , , , , , ,
, , , 【Automatic Indexing@JST】

自然語処理 , パターン認識

, , ,

前のページに戻る