文献

J-GLOBAL ID：201702213165592769   整理番号：17A1773515

AMC:画像検索のための注意誘導型マルチモーダル相関学習【Powered by NICT】

AMC: Attention Guided Multi-modal Correlation Learning for Image Search

著者 (5件)： Chen Kan ,  Bui Trung ,  Fang Chen ,  Wang Zhaowen ,  Nevatia Ram
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： CVPR  ページ： 6203-6211  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： ユーザクエリが与えられたとき,伝統的な画像検索システムは,一つの様式(例えば,画像コンテンツまたは周辺テキスト)との関連性に応じて画像をランク付けする。今日では,インターネット上の画像の増加している豊富な様式(例えば,タイトル,キーワード,タグ,など)に関連したメタデータ,質問と良く類似性測度のために利用できる利用可能である。本論文では,入力クエリとのそれらの相関を学習することによる画像検索のための視覚モダリティおよびテキストモダリティのレバレッジを行った。質問の意図によると,注意機構は異なるモダリティの重要性をバランスさせる適応的に導入することができる。試験内及び試験間注意ネットワークの共同学習階層から構成される新規の注意誘導マルチモーダル相関(AMC)学習法を提案した。querys意図に,調整済みの形で,日内注意ネットワーク(すなわち,視覚内注意ネットワークと言語内注意ネットワーク)は,各モードにおいて,情報提供部分に注意,マルチモーダル間注意ネットワークは最も質問様式の重要性を促進する。実験では,二種の実世界画像検索エンジンから検索ログにAMCモデルを評価し,検索結果におけるユーザクリック画像のランク付けに有意な向上を示した。さらに,AMCモデルはCOCOデータセットにcaption順位付けタスクと最近の最先端レベル手法と比較して比肩可能な結果を達成するために拡張した。Copyright 2017 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： 等級づけ ,  検索エンジン ,  *多モード ,  *画像 ,  *学習 ,  キーワード ,  視覚 ,  メタデータ ,  *画像検索 ,  情報サービス ,  類似性 ,  測度
準シソーラス用語： モダリティ ,  クエリー ,  テキスト , 【Automatic Indexing@JST】

分類 (2件)： 図形・画像処理一般  (JE04010I) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (5件)： 画像検索 ,  注意 ,  誘導 ,  マルチモーダル ,  相関学習