文献

J-GLOBAL ID：202002241306452301   整理番号：20A2462539

フレーズ接地のためのクロスモダル・オムニ相互作用モデリング【JST・京大機械翻訳】

Cross-Modal Omni Interaction Modeling for Phrase Grounding

著者 (7件)： Yu Tianyu (Beihang University, Beijing, China) ,  Hui Tianrui (Institute of Information Engineering, Chinese Academy of Sciences & University of Chinese Academy of Sciences, Beijing, China) ,  Yu Zhihao (Beihang University, Beijing, China) ,  Liao Yue (Beihang University, Beijing, China) ,  Yu Sansi (Tencent Marketing Solution, Shen Zhen, China) ,  Zhang Faxi (Tencent Marketing Solution, Shen Zhen, China) ,  Liu Si (Beihang University, Beijing, China)
資料名： ACM Proceedings  (ACM Proceedings)
号： MM ’20  ページ： 1725-1734  発行年： 2020年 
JST資料番号： D0698C  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： Phrase接地は,自然言語仕様におけるフレーズによって記述されたオブジェクトを局所化することを目的とする。以前の研究は,テキストモダリティと視覚モダリティからの入力とモード内グローバルレベルのみの相互作用をモデル化し,その結果,正確で完全なコンテキスト情報を捉える能力を欠いている。本論文では,隣接相互作用モジュール,大域的相互作用モジュール,交差モード相互作用モジュールおよびマルチレベルアラインメントモジュールから成る,新しいクロスモーダルOmni相互作用ネットワーク(COIネット)を提案した。本手法は,マルチレベルマルチモーダル相互作用を通して画像領域とフレーズ間の複雑な空間と意味関係を定式化する。隣接領域間の相互作用を用いて局所関係を捉え,次に,変圧器符号器を用いて全領域間の相互作用を通して大域的文脈を収集した。さらに,すべての画像領域およびフレーズに対するクロスモーダルコンテキストを収集するために,2つのモダリティ間の相互作用を適用するために,共注意モジュールを使用した。全相互作用モデリングに加えて,全ての接地決定間の依存性を定式化するために,直接的ではあるが効果的なマルチレベルアラインメント正則化も利用した。著者らのモデルの有効性を広範囲に検証した。実験は,著者らのアプローチが,精度に関して,2つの一般的データセットに関する大きなマージンによって,既存の最先端の方法より優れていることを示した:Flickr30Kエンティティに関する6.15%(71.36%は77.51%まで増加),そして,ReferItゲーム(44.91%は66.16%まで増加した)に関して21.25%。この実装のコードはhttps://github.com/yiranyyu/Phrase-Groundingで利用可能である。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アラインメント ,  視覚 ,  *相互作用 ,  変圧器 ,  ゲーム ,  言語 ,  ネットワーク ,  *接地 ,  自然言語 ,  符号器 ,  正則化 ,  定式化
準シソーラス用語： モダリティ ,  マルチレベル ,  エンティティ , 【Automatic Indexing@JST】

著者キーワード (4件)： 注意機構 ,  フレーズ接地 ,  教師つき学習 ,  視覚と言語

分類 (2件)： 分子・遺伝情報処理  (JE15040B) ,  生物学的機能  (EB03040U)

タイトルに関連する用語 (4件)： フレーズ ,  接地 ,  相互作用 ,  モデリング