文献

J-GLOBAL ID：202002255508414974   整理番号：20A2733501

物語マルチメディアのマルチモーダル表現の学習:Webtoonの事例研究【JST・京大機械翻訳】

Learning Multi-modal Representations of Narrative Multimedia a Case Study of Webtoons

著者 (2件)： Lee O-Joun (Pohang University of Science and Technology, Pohang-si, Republic of Korea) ,  Kim Jin-Taek (Pohang University of Science and Technology, Pohang-si, Republic of Korea)
資料名： ACM Proceedings  (ACM Proceedings)
号： RACS ’20  ページ： 1-6  発行年： 2020年 
JST資料番号： D0698C  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 本研究は,ナラティブマルチメディアのタスク-診断表現を学習することを目的とした。既存の研究は,それらの物理的特徴を考慮することなく,ナラティブマルチメディアにおける階調のみに焦点を当てた。ナラティブマルチメディアのマルチモーダル特徴を統一ベクトル表現に組み込む方法を提案した。ナラティブ特徴のために,著者らは既存の研究と同様に特性ネットワークを埋め込んだ。テキスト特徴は,LSTM(Long-Short Termメモリ)自動エンコーダを用いて表現できる。畳込みオートエンコーダを視覚特徴に適用した。畳込みオートエンコーダも可聴特徴のスペクトログラムに使用できる。これらの特徴を組み合わせるために,早期融合と後期融合の2つの方法を提案した。初期融合法は各シーンの特徴の表現を構成する。次に,特徴の時系列変化を予測することにより,ナラティブ作業の表現を学習した。後期融合法は,ナラティブ作業の全てに対して訓練された特徴ベクトルを連結する。最後に,Webトオン(すなわち,ウェブを通して連続的に公開されているコミクス)に提案した方法を適用した。提案手法は,Webトオンに対するユーザの好みを予測するためにベクトル表現を適用することにより評価した。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 記憶装置 ,  畳込み ,  ベクトル ,  *学習 ,  ネットワーク ,  符号器 ,  *事例研究 ,  *多モード ,  *マルチメディア ,  Web【情報システム】
準シソーラス用語： 特徴ベクトル ,  スペクトログラム ,  自己符号化器 , 【Automatic Indexing@JST】

著者キーワード (4件)： 計算物語 ,  分散表現 ,  マルチモーダル表現学習 ,  物語マルチメディア

分類 (2件)： パターン認識  (JE07000S) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (6件)： 物語 ,  マルチメディア ,  マルチモーダル ,  表現 ,  学習 ,  研究