文献

J-GLOBAL ID：202102243733964885   整理番号：21A0067000

言語ベース画像操作のためのクロスモーダル表現の学習【JST・京大機械翻訳】

Learning Cross-Modal Representations for Language-Based Image Manipulation

著者 (3件)： Kenan E.Ak (Institute for Infocomm Research,A*STAR,Singapore) ,  Sun Ying (Institute for Infocomm Research,A*STAR,Singapore) ,  Lim Joo Hwee (Institute for Infocomm Research,A*STAR,Singapore)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2020  号： ICIP  ページ： 1601-1605  発行年： 2020年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 本論文では,自然言語記述を用いて画像/シーンを操作するための生成アーキテクチャを提案した。これは,生成ネットワークが入力画像の非親和性コンテンツを変えずに与えられたテキスト命令を実行することが期待されるので,挑戦的なタスクである。既存の方法の2つの主な欠点は,限られた領域だけに影響する変化の実行と複雑な命令を扱うことができないことである。これらの限界に対処するために設計した提案アプローチは,まず画像とテキスト特徴を抽出するために,それぞれ2セットのネットワークを使用する。画像操作過程中のこれら2つのモダリティの単純な組合せよりも,画像とテキスト特徴を構成するために改良技法を用いた。さらに,生成ネットワークは類似性学習を利用してテキスト操作を改善し,入力画像に関するテキスト関連変化のみを強制する。CSSとFashion合成データセットに関する著者らの実験は,提案した方式が,R精度とFIDに関して,ベースラインフレームワークよりも著しく良く機能し,性能が優れていることを示した。Copyright 2021 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *学習 ,  *言語 ,  ネットワーク ,  自然言語 ,  親和性 ,  類似性 ,  基準線 ,  計算機アーキテクチャ ,  コンテンツ
準シソーラス用語： モダリティ ,  インプット画像 , 【Automatic Indexing@JST】

分類 (5件)： 符号理論  (ND02030R) ,  図形・画像処理一般  (JE04010I) ,  専用演算制御装置  (JC04030Y) ,  パターン認識  (JE07000S) ,  音声処理  (JE05000E)

タイトルに関連する用語 (3件)： 言語 ,  表現 ,  学習