文献

J-GLOBAL ID：202002277276489856   整理番号：20A1187705

ULSAM:コンパクトな畳込みニューラルネットワークのための超軽量部分空間注意モジュール【JST・京大機械翻訳】

ULSAM: Ultra-Lightweight Subspace Attention Module for Compact Convolutional Neural Networks

著者 (5件)： Saini Rajat (IIT Hyderabad) ,  Jha Nandan Kumar (IIT Hyderabad) ,  Das Bedanta (IIT Hyderabad) ,  Mittal Sparsh (IIT Roorkee) ,  Mohan C. Krishna (IIT Hyderabad)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2020  号： WACV  ページ： 1616-1625  発行年： 2020年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 長距離依存性をモデル化する自己注意機構の能力は,視覚モデルにおけるその展開を捉えた。畳込み演算子と異なり,自己注意は無限の受容場を提供し,大域的依存性の計算効率的モデリングを可能にする。しかしながら,既存の最先端の注意機構は,高い計算および/またはパラメータオーバーヘッドを招き,したがって,コンパクトな畳込みニューラルネットワーク(CNNs)には適合しない。本研究では,各特徴マップ部分空間に対する異なる注意マップを推論する,単純ではあるが効果的な「超軽量部分空間攻撃機構」(ULSAM)を提案した。著者らは,各特徴部分空間に対する別々の注意マップの希薄化により,多重スケールおよび多重周波数特徴表現を可能にし,それは,細粒画像分類に対してより望ましいことを論じた。部分空間注意の著者らの方法は,視覚モデルにおいて使用される既存のstate of the ート注意機構に対して直交性で相補的である。ULSAMはエンドツーエンド訓練可能で,既存のコンパクトなCNNにおけるプラグインモジュールとして展開することができる。特に,著者らの研究は,コンパクトなCNNsの効率を増加させるために部分空間注意機構を使用する最初の試みである。ULSAMの有効性を示すために,ImageNet-1Kと3つの細粒画像分類データセット上のバックボーンアーキテクチャとして,MobileNet-V1とMobileNet-V2を用いた実験を行った。著者らは,FLOPSとMobileNet-V2のパラメータカウントの両方において13%と25%の減少を達成し,ImageNet-1Kと細粒画像分類データセット(それぞれ)に関するトップ-1精度の0.27%と1%以上の改善を達成した。コードと訓練モデルはhttps://github.com/Nandan91/ULSAMで利用可能である。Copyright 2020 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *畳込み ,  エンドツーエンド方式 ,  有効性 ,  直交性 ,  計算機アーキテクチャ
準シソーラス用語： 計算効率 ,  画像分類 ,  マルチスケール ,  *部分空間 ,  オーバヘッド ,  視覚モデル ,  *畳込みニューラルネットワーク , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (5件)： 畳込みニューラルネットワーク ,  軽量 ,  部分空間 ,  注意 ,  モジュール