文献

J-GLOBAL ID：202202280142976403   整理番号：22A0067182

ゲート付き注意変圧器による効率的な特徴相互作用学習【JST・京大機械翻訳】

Efficient Feature Interactions Learning with Gated Attention Transformer

著者 (4件)： Long Chao (Shanghai Jiao Tong University, Shanghai, China) ,  Zhu Yanmin (Shanghai Jiao Tong University, Shanghai, China) ,  Liu Haobing (Shanghai Jiao Tong University, Shanghai, China) ,  Yu Jiadi (Shanghai Jiao Tong University, Shanghai, China)
資料名： Lecture Notes in Computer Science  (Lecture Notes in Computer Science)
巻： 13081  ページ： 3-17  発行年： 2022年 
JST資料番号： H0078D  ISSN： 0302-9743  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： クリックスルーレート(CTR)予測は,オンラインアドバイスや推薦システムのような多くのドメインで主要な役割を果たす。実際に,正確な予測モデルを構築するための特徴相互作用(すなわち,交差特徴)を学習する必要がある。最近,いくつかの自己注意ベースの変圧器方式を提案して,自動的に特徴相互作用を学習した。しかし,これらのアプローチは2つの欠点によって妨げられる。最初に,自己注意を用いた学習高次特徴インタラクションは,k次数交差特性が交差(k-1)次数交差特徴および(k-1)次数交差特徴により生成されるため,多くの反復交差特徴を生成する。第2に,無利用交差特性(例えば,反復交差特性)の導入は,モデル性能を低下させる。これらの問題に取り組むために,変換機の強い能力を保持するために,著者らは,vanilla注意機構をゲート機構に組み合わせ,Gate注意変換器という新しいモデルを提案した。提案手法では,k次交差特徴を交差(k-1)次数交差特徴と1次特徴により発生させ,それは自己注意機構の代わりにバニラ注意機構を使用し,より説明可能で効率的である。さらに,ベクトルワイズレベルにおける特徴相互作用の重要性を区別する注意機構の補足として,さらに,ビットワイズレベルで顕著な特徴相互作用を蒸留するためにゲート化機構を使用した。2つの実世界データセットに関する実験は,提案した方法の優位性と有効性を実証した。Copyright Springer Nature Switzerland AG 2021 Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *相互作用 ,  ベクトル ,  *変圧器 ,  変換器 ,  *学習 ,  バニラ ,  有効性 ,  予測モデル
準シソーラス用語： 推奨システム ,  オンライン , 【Automatic Indexing@JST】

著者キーワード (3件)： 特徴相互作用 ,  CTR予測 ,  変圧器

分類 (2件)： 分子・遺伝情報処理  (JE15040B) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (5件)： ゲート ,  注意 ,  変圧器 ,  相互作用 ,  学習