文献

J-GLOBAL ID：202202256519530475   整理番号：22A0565351

領域減衰マルチモーダルニューラル機械翻訳【JST・京大機械翻訳】

Region-attentive multimodal neural machine translation

著者 (4件)： Zhao Yuting (Tokyo Metropolitan University, 6-6 Asahigaoka, Hino, Tokyo 191-0065, Japan) ,  Komachi Mamoru (Tokyo Metropolitan University, 6-6 Asahigaoka, Hino, Tokyo 191-0065, Japan) ,  Kajiwara Tomoyuki (Ehime University, 3 Bunkyo-cho, Matsuyama, Ehime 790-8577, Japan) ,  Chu Chenhui (Kyoto University, Yoshida-honmachi, Sakyo-ku, Kyoto 606-8501, Japan)
資料名： Neurocomputing  (Neurocomputing)
巻： 476  ページ： 1-13  発行年： 2022年 
JST資料番号： W0360A  ISSN： 0925-2312  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： 著者らは,領域-意図的マルチモーダルニューラルマシン翻訳(RA-NMT)と呼ばれる意味画像領域を有するマルチモーダルニューラルマシン翻訳(MNMT)法を提案した。MNMTに関する既存の研究は,翻訳性能を改善するために,畳み込みニューラルネットワーク(CNN)によって抽出されたグローバル視覚特徴または等しくサイズのグリッド局所視覚特徴を採用することに主に焦点を合わせている。しかし,それらは視覚特徴の中で捉えられた意味情報の影響を無視する。本研究では,MNMTに対する物体検出により抽出した意味画像領域を利用し,2つのモダリティ依存注意機構を用いて視覚およびテキスト特徴を統合した。提案方法を,神経機械翻訳(NMT)の2つの神経アーキテクチャ,すなわち,再帰ニューラルネットワーク(RNN)と自己注意ネットワーク(SAN)に関して実行して,検証した。マルチ30kデータセットの異なった言語対に関する実験結果は,著者らの提案方法が基準線を超えて改善し,最先端のMNMT法の大部分より優れていることを示した。更なる解析は,提案方法がより良い視覚特徴利用のためにより良い翻訳性能を達成できることを証明した。Copyright 2022 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 視覚 ,  意味論 ,  *機械翻訳 ,  言語 ,  情報 ,  ネットワーク ,  ニューラルネットワーク ,  *多モード ,  基準線 ,  計算機アーキテクチャ ,  注意
準シソーラス用語： モダリティ ,  意味情報 ,  物体検出 ,  視覚顕著 ,  畳込みニューラルネットワーク , 【Automatic Indexing@JST】

著者キーワード (5件)： マルチモーダルニューラル機械翻訳 ,  リカレントニューラルネットワーク ,  自己注意ネットワーク ,  オブジェクト検出 ,  意味論的画像領域

分類 (2件)： 図形・画像処理一般  (JE04010I) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (3件)： 減衰 ,  マルチモーダル ,  ニューラル機械翻訳