文献

J-GLOBAL ID：201802269908676406   整理番号：18A0441082

見ると聴覚すぎる:ビデオ字幕のための音声表現【Powered by NICT】

Seeing and hearing too: Audio representation for video captioning

著者 (5件)： Chuang Shun-Po (National Taiwan University, Graduate Institute of Communication Engineering) ,  Wan Chia-Hung (National Taiwan University, Graduate Institute of Communication Engineering) ,  Huang Pang-Chi (National Taiwan University, Graduate Institute of Communication Engineering) ,  Yang Chi-Yu (National Taiwan University, Graduate Institute of Communication Engineering) ,  Lee Hung-Yi (National Taiwan University, Graduate Institute of Communication Engineering)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2017  号： ASRU  ページ： 381-388  発行年： 2017年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： ビデオ字幕が広く研究されている。最も関連する研究は,記述生成における視覚含有量のみを考慮している。しかし,人間の音声または環境音のような聴覚含量はシーンを記述するための豊富な情報を含んでいるが,まだビデオ字幕のための広く検討されなければならない。ここでは,ビデオにおけるこの聴覚コンテンツを利用するためには異なる方法を用いて実験し,また,BLEU,CIDEr,METEORのような一般的な評価法の観点から改善された字幕発生を実証した。も文埋め込みを用いて生成した字幕と人間が準備したグランドトルース間の意味論的類似性を測定し,マルチモーダルコンテンツの有効利用がグランドトルースに意味的に関係するという字幕を生成する機械を助けることが分かった。生成された文を解析するとき,視覚のみモデルは不正確な結果を与えるが,聴覚キューを考慮に入れた手法により分解されるいくつかの曖昧な状況を見出した。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】

シソーラス用語： 曖昧さ ,  類似性 ,  意味論 ,  *録画装置 ,  コンテンツ ,  待ち行列 ,  視覚 ,  *聴覚
準シソーラス用語： グランドトゥルース ,  評価法 ,  環境音 ,  *字幕 , 【Automatic Indexing@JST】

分類 (2件)： 人間機械系  (IB03000G) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (5件)： 聴覚 ,  ビデオ ,  字幕 ,  音声 ,  表現