時間:テキストと画像相互翻訳敵対ネットワーク【JST・京大機械翻訳】

Liu Bingchen; Song Kunpeng; Zhu Yizhe; de Melo Gerard; Elgammal Ahmed

プレプリント

J-GLOBAL ID：202202220817410973 整理番号：22P0151977

時間:テキストと画像相互翻訳敵対ネットワーク【JST・京大機械翻訳】

TIME: Text and Image Mutual-Translation Adversarial Networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年05月27日プレプリントサーバーでの情報更新日： 2020年12月22日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

テキスト対画像(T2I)生成に焦点を合わせて,著者らは,T2I発電機Gと,Generative Adversarial Networkフレームワークの下で,T2I発電機Gと画像キャプテーション識別器Dを共同学習する,軽量だが効果的なモデルである,TextとImage Mutual-Translation Adversarial Network(TIME)を提案する。以前の方法は,一方向タスクとしてT2I問題に対処し,画像-テキスト一貫性を強制するために事前訓練言語モデルを使用するが,TIMEは余分なモジュールも事前訓練も必要としない。Gの性能は,言語モデルとしてDと共同で訓練することにより,大幅に向上できることを示した。特に,画像特徴と単語埋込みの間の交差モード接続をモデル化し,敵対学習を動的にバランスさせるアニーリング条件付きヒンジ損失を設計する。著者らの実験では,TIMEはCUBとMS-COCOデータセット(CUBで4.91とFr’echet Inception Distance of 14.3のIncep Score)の最先端(SOTA)性能を達成し,画像キャプティングと下流ビジョン言語タスクに関するMS-COCOに関する有望な性能を示した。【JST・京大機械翻訳】

, , , , , , , , ,
, , 【Automatic Indexing@JST】

図形・画像処理一般 , パターン認識 , 人工知能

前のページに戻る