文献

J-GLOBAL ID：201902259469021061   整理番号：19A1956553

自然言語の指示による画像操作システム

著者 (9件)： 品川政太朗 (奈良先端科学技術大学院大) ,  品川政太朗 (理研 革新知能統合研究セ) ,  吉野幸一郎 (奈良先端科学技術大学院大) ,  吉野幸一郎 (JST-さきがけ) ,  SAKTI Sakriani (奈良先端科学技術大学院大) ,  SAKTI Sakriani (理研 革新知能統合研究セ) ,  鈴木優 (奈良先端科学技術大学院大) ,  中村哲 (奈良先端科学技術大学院大) ,  中村哲 (理研 革新知能統合研究セ)
資料名： 電子情報通信学会論文誌 D(Web)
巻： J102-D  号： 8  ページ： 514-529 (WEB ONLY)  発行年： 2019年08月01日 
JST資料番号： U0473A  ISSN： 1881-0225  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 自然言語から思い通りの画像を生成するシステムは,コンピュータによるデザイン作成支援に有用であると期待されている.本研究では,自然言語によってインタラクティブな画像編集を行うことを指向して,自然言語の指示によって直前にシステムからユーザへ共有された生成画像を操作することで,より意図に沿った画像を新たに生成するフレームワークを提案する.具体的には,修正元となる画像データをConvolutional neural networks(CNNs)によって埋め込んだベクトルと,画像に対する自然言語の修正指示文をLong short-term memory neural networks(LSTM)によって埋め込んだベクトルを入力とし,敵対的学習によって指示通りに修正された画像の生成を行う枠組みを提案した.実験では,手書き数字操作データセットを用いた単純なタスクにより,提案モデルが学習した画像編集タスクにおける振る舞いについて分析した.また,実際に人手で付与した指示文によってアバター画像を修正し,意図に沿った編集を行うことができることを確認した.(著者抄録)

シソーラス用語： *自然言語 ,  *GUI【計算機】 ,  画像合成 ,  計算機利用システム ,  *ニューラルネットワーク ,  編集 ,  エージェント ,  学習 ,  LSTMネットワーク ,  アバタ ,  インタラクティブグラフィックシステム
準シソーラス用語： *CNN ,  画像生成 ,  *画像操作環境 ,  画像編集

分類 (1件)： 図形・画像処理一般  (JE04010I)

引用文献 (18件)：

• A. Brock, T. Lim, J. Ritchie, and N. Weston, “Neural photo editing with introspective adversarial networks,” International Conference on Learning Representations, 2017.
• J.-Y. Zhu, P. Krahenbuhl, E. Shechtman, and A.A. Efros, “Generative visual manipulation on the natural image manifold,” Proc. European Conference on Computer Vision, 2016.
• E. Mansimov, E. Parisotto, J. Ba, and R. Salakhutdinov, “Generating images from captions with attention,” International Conference on Learning Representations, 2016.
• S. Reed, Z. Akata, X. Yan, L. Logeswaran, B. Schiele, and H. Lee, “Generative adversarial text-to-image synthesis,” Proc. 33rd International Conference on Machine Learning, 2016.
• H. Zhang, T. Xu, H. Li, S. Zhang, X. Huang, X. Wang, and D. Metaxas, “Stackgan: Text to photo realistic image synthesis with stacked generative adversarial networks,” IEEE International Conference of Computer Vision, pp.5907-5915, 2017.

タイトルに関連する用語 (2件)： 言語 ,  操作システム