クロスモーダル翻訳とアラインメントによるロバストな潜在表現【JST・京大機械翻訳】

Rajan Vandana; Brutti Alessio; Cavallaro Andrea

プレプリント

J-GLOBAL ID：202202209966085321 整理番号：21P0058795

クロスモーダル翻訳とアラインメントによるロバストな潜在表現【JST・京大機械翻訳】

Robust Latent Representations via Cross-Modal Translation and Alignment

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2020年11月03日プレプリントサーバーでの情報更新日： 2021年03月08日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

マルチモーダル学習は,補完的情報を利用するために,同じ物理現象の観察様式を通して情報を関連づける。ほとんどのマルチモーダル機械学習法は,訓練に使用されるすべてのモダリティが試験にも利用可能であることを必要とする。これは,いくつかのモダリティからの信号が利用できないか,または雑音によってひどく劣化するとき,限界である。この限界に取り組むために,訓練中の多重モダリティを用いて単峰システムの試験性能を改善することを目指した。提案したマルチモーダル訓練フレームワークは,より弱いモダリティの表現を改善するために,クロスモーダル変換と相関ベース潜在空間アラインメントを使用する。より弱い様式からより強い様式への翻訳は,両モダリティを代表するマルチモーダル中間符号化を生成する。この符号化は,共有潜在空間におけるより強いモダリティ表現と相関がある。連続感情認識のためのAVEC2016データセット上で提案した方法を検証し,より弱いモダリティに対する最先端(ユニモーダル)性能を達成する手法の有効性を示した。【JST・京大機械翻訳】

, , , , , , ,
, , 【Automatic Indexing@JST】

ロボットの運動・制御 , パターン認識 , 応用心理学 , 人工知能 , 図形・画像処理一般

, , ,

前のページに戻る