文献

J-GLOBAL ID：202202216373746688   整理番号：22A0554200

注意の焦点:マルチモーダル学習のための焦点注意【JST・京大機械翻訳】

Focus Your Attention: A Focal Attention for Multimodal Learning

著者 (6件)： Liu Chunxiao (School of Information Science and Technology, University of Science and Technology of China, China) ,  Mao Zhendong (School of Information Science and Technology, University of Science and Technology of China, Hefei, China) ,  Zhang Tianzhu (School of Information Science and Technology, University of Science and Technology of China, Hefei, China) ,  Liu An-An (School of Electrical and Information Engineering, Tianjin University, Tianjin, China) ,  Wang Bin (Xiaomi AI lab, Beijing, China) ,  Zhang Yongdong (School of Information Science and Technology, University of Science and Technology of China, Hefei, China)
資料名： IEEE Transactions on Multimedia  (IEEE Transactions on Multimedia)
巻： 24  ページ： 103-115  発行年： 2022年 
JST資料番号： W1116A  ISSN： 1520-9210  CODEN： ITMUF8  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： マルチモーダル学習におけるキーポイントは,異なるモダリティデータからインスタンスのサブ要素間の対応を見出す意味的アラインメントを学習することである。注意機構は,異なるモダリティでサブ要素を高密度に関連付けることができるので,意味的アラインメント学習における電力を示した。しかしながら,各サブ要素に対して,既存の注意は,他のモダリティからすべてのサブ要素とそれを整列させ,一方,それらのほとんどは,それとの対応,すなわち,無関係なサブ要素とは対応しない。無関係なサブ要素は,もしそれらがまた,また,それらが停止するならば,意味的アラインメントを混乱させるであろう。本論文では,より正確な意味アラインメントを学習するための新しい焦点注意機構を提案した。焦点の注意は,サブ要素の部分集合にまばらであり,他のモダリティから各サブ要素を与える事後確率に従って関連するものとして同定された。関連するサブ要素が,同じ意味をほとんど記述するという観察に基づき,事後確率は,同じモダリティ内の相互作用を考慮することによって,関連と無関係なものを正確に区別することができ,関連するサブ要素が,より高い,より近い事後確率を得る,一方,無関係なものは,より低い確率を得る。このような設計は,無関係なサブ要素の干渉を防ぐことにより,より良い意味アラインメントを学習し,意味的アラインメントを要求するその後のマルチモーダルタスクを容易にする。焦点的注意の有効性を検証するために,画像テキストマッチングとテキストツー画像生成に関する広範な実験を行い,それぞれ,それらに対する焦点注意の双方向と積層バージョンを提案した。ベンチマークに関する実験結果は,焦点の注意が,最先端技術を著しく,そして,一貫して凌ぐことができることを示した。Copyright 2022 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アラインメント ,  相互作用 ,  *学習 ,  電力 ,  事後確率 ,  画像 ,  画像合成 ,  *多モード ,  有効性 ,  ベンチマーク
準シソーラス用語： モダリティ ,  高密度 , 【Automatic Indexing@JST】

分類 (2件)： 図形・画像処理一般  (JE04010I) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (4件)： マルチモーダル ,  学習 ,  焦点 ,  注意