文献

J-GLOBAL ID：202002262128059936   整理番号：20A1683995

マルチモーダル機械翻訳のためのテキストベース視覚文脈変調ニューラルモデル【JST・京大機械翻訳】

A text-based visual context modulation neural model for multimodal machine translation

著者 (3件)： Kwon Soonmo (Department of Creative IT Engineering, POSTECH, 77, Cheongam-ro, Nam-gu, Pohang, 37673, South Korea) ,  Go Byung-Hyun (Department of Computer Science and Engineering, POSTECH, 77, Cheongam-ro, Nam-gu, Pohang, 37673, South Korea) ,  Lee Jong-Hyeok (Department of Computer Science and Engineering, POSTECH, 77, Cheongam-ro, Nam-gu, Pohang, 37673, South Korea)
資料名： Pattern Recognition Letters  (Pattern Recognition Letters)
巻： 136  ページ： 212-218  発行年： 2020年 
JST資料番号： H0913A  ISSN： 0167-8655  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： キャプションにより変調された画像特徴を統合する新しいマルチモーダルマシン翻訳モデルを導入した。一般に,画像は,それらの記述よりも,むしろ多くの情報を含んでいる。さらに,マルチモーダルマシン翻訳タスクにおいて,特徴マップは,オブジェクトのための事前訓練ネットワークから一般的に抽出される。したがって,これらの特徴マップを直接利用することは適切ではない。テキストに関連した視覚特徴を抽出するために,事前訓練CNNからの符号器と視覚情報からのテキスト情報に基づく変調ネットワークを設計した。しかし,マルチモーダル翻訳データが不足しているので,過度に複雑なモデルを用いることは貧弱な性能をもたらす。簡単さのために,著者らは,特性的乗算変換を適用した。したがって,著者らのモデルは,既存のマルチモーダル翻訳モデルにおけるアーキテクチャに埋め込まれたモジュラー訓練可能ネットワークである。BLEUとMETEORメトリックを用いて,マルチ30kデータセットによる変換モデルに関する実験を行い,翻訳品質を評価することにより,このモデルを検証した。一般に,このモデルはテキストベースモデルおよび他の既存モデルの改善であった。Copyright 2020 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *視覚 ,  *機械翻訳 ,  ネットワーク ,  乗算 ,  画像特性 ,  符号器 ,  *多モード ,  計算機アーキテクチャ
準シソーラス用語： *神経回路網モデル ,  視覚情報 ,  特徴マップ ,  ホップ数 , 【Automatic Indexing@JST】

著者キーワード (3件)： 深層学習 ,  機械翻訳 ,  マルチモーダル性

分類 (1件)： パターン認識  (JE07000S)

タイトルに関連する用語 (6件)： マルチモーダル ,  機械翻訳 ,  視覚 ,  文脈 ,  変調 ,  ニューラルモデル