マルチモーダル機械翻訳における視覚特徴について【JST・京大機械翻訳】

Li Bei; Lv Chuanhao; Zhou Zefan; Zhou Tao; Xiao Tong; Ma Anxiang; Zhu JingBo

プレプリント

J-GLOBAL ID：202202206472170220 整理番号：22P0305823

マルチモーダル機械翻訳における視覚特徴について【JST・京大機械翻訳】

On Vision Features in Multimodal Machine Translation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年03月17日プレプリントサーバーでの情報更新日： 2022年03月17日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

多モード機械翻訳(MMT)に関する以前の研究は,視覚特徴を翻訳に組み込む方法に焦点を当ててきたが,視覚モデルの品質にはほとんど注意が払われていない。本研究では,MMTに対する視覚モデルの影響を調べた。変換器がコンピュータビジョンで普及しているという事実を考えると,著者らは,様々な強いモデル(例えば,視覚変換機)と強化特性(物体検出と画像キャプティングのような)で実験する。MMTにおける画像のパッチレベル寄与を研究するための選択的注意モデルを開発した。詳細なプロービングタスクにおいて,著者らは,より強い視覚モデルが視覚モダリティからの翻訳の学習に役立つことを見出した。結果はまた,特に現在のベンチマークが小規模で偏ったとき,MMTモデルを注意深く調べる必要性を示唆した。著者らのコードは,ウルル{https://github.com/libeineu/fairseq_mmt}で見つけることができた。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

パターン認識 , 図形・画像処理一般

, ,

前のページに戻る