文献

J-GLOBAL ID：202102286713501429   整理番号：21A1422962

画像生成による疑似教師データを用いたマルチモーダルニューラル機械翻訳

著者 (3件)： 岩本裕司 (愛媛大) ,  田村晃裕 (同志社大) ,  二宮崇 (愛媛大)
資料名： 言語処理学会年次大会発表論文集(Web)  (Proceedings of the Annual Meeting of the Association for Natural Language Processing (Web))
巻： 27th  ページ： ROMBUNNO.P1-8 (WEB ONLY)  発行年： 2021年03月 
JST資料番号： U0384A  ISSN： 2188-4420  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： ・対訳テキストデータと画像キャプションデータに基づいてマルチモーダルニューラル機械翻訳(MNMT)の学習を行う手法を提案。
・まず,対訳テキストデータからNMTモデルを学習し,画像キャプションデータの原言語文をNMTモデルで翻訳することによって初期疑似3つ組データ(原語文,目的言語文,関連画像)を生成。
・次に,MNMTモデルと対訳文ペアから画像を生成するtext-to-image(T2I)モデルを初期擬似3つ組データから学習。
・最後に,T2IモデルとMNMTモデルを逆翻訳形式のフレームワークを用いて交互に再学習。

シソーラス用語： *画像合成 ,  データ ,  多モード ,  *機械翻訳 ,  翻訳【言語】 ,  *機械学習 ,  実験 ,  画像データ ,  教師データ ,  評価実験
準シソーラス用語： Transfomer【機械学習モデル】 ,  ニューラル機械翻訳 ,  マルチモード ,  画像生成 ,  対訳

分類 (2件)： 自然語処理  (JE06000L) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (4件)： 画像生成 ,  教師データ ,  マルチモーダル ,  ニューラル機械翻訳