DRTAM:デュアルランク1テンソル注意モジュール【JST・京大機械翻訳】

Chi Hanxing; Lin Baihong; Hu Jun; Wang Liang

プレプリント

J-GLOBAL ID：202202205094897390 整理番号：22P0302543

DRTAM:デュアルランク1テンソル注意モジュール【JST・京大機械翻訳】

DRTAM: Dual Rank-1 Tensor Attention Module

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年03月11日プレプリントサーバーでの情報更新日： 2023年09月07日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

最近,注意機構がコンピュータビジョンにおいて広く研究されているが,それらのほとんどは,大規模およびモバイルネットワークの両方で優れた性能を示す。本論文では,フィードフォワード畳み込みニューラルネットワーク用の新しい残留注意学習誘導注意モジュールである二重Rank-1テンソル注意モジュール(DRTAM)を提案した。3D特徴テンソルマップを与えて,DRTAMは最初に3つの軸に沿って3つの2D特徴記述子を生成する。次に,3つの記述子を用いて,DRTAMは,2つのランク-1テンソル注意マップ,初期注意マップ,および補足注意マップを順次推論し,それらを適応特徴精密化(see Fig.1(c))のために入力特徴マップに組み合わせ,乗算する。2つの注意マップを生成するために,DRTAMはランク1テンソル注意モジュール(RTAM)と残差記述子抽出モジュール(RDEM)を導入し,RTAMは各2D特徴記述子をいくつかのチャンクに分割し,各チャンクにストリッププールを用いてランク1テンソル注意マップの3因子ベクトルを生成し,局所と長距離文脈情報をそれぞれ3次元に沿って捉えることができる。RDEMは,初期注意マップの3つの因子ベクトルと入力特徴の3つの記述子を用いて,補完的注意マップを作り出すために残差特徴の3つの2D特徴記述子を生成した。ImageNet-1K,MS COCOおよびPASCAL VOCに関する広範な実験結果は,DRTAMが,他の最先端の注意モジュールと比較して,大規模およびモバイルネットワークの両方で競合性能を達成することを実証した。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

パターン認識 , 人工知能

, , ,

前のページに戻る