文献

J-GLOBAL ID：201602220523899225   整理番号：16A0197197

主成分分析に基づく類似口形状検出によるビデオ翻訳動画の生成

著者 (6件)： 古川翔一 (早稲田大) ,  加藤卓哉 (早稲田大) ,  野澤直樹 (早稲田大) ,  サフキン パーベル (早稲田大) ,  森島繁生 (早稲田大 理工学術院 理工学総合研) ,  森島繁生 (JST-CREST)
資料名： 情報処理学会研究報告(Web)  (IPSJ Technical Report (Web))
巻： 2015  号： CVIM-199  ページ： VOL.2015-CVIM-199,NO.14 (WEB ONLY)  発行年： 2015年10月30日 
JST資料番号： U0451A  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 映画やテレビ番組などの映像コンテンツでは,吹替処理を施すことによって多言語化を実現している。一般に吹替処理では映像中の話者の口の動きに合わせて翻訳内容が考案される。しかし,これは翻訳家に大きな労力を強いる上,本来の意味と異なる台詞に翻訳される恐れがある。そこで,従来の吹替処理とは逆に,吹替音声に合わせて映像内の口形状を直接編集する「ビデオ翻訳」が提案されている。ビデオ翻訳を行う多くの既存手法では3D顔モデルが用いられるが,これらは首などの形状復元できない部位に適用できない問題がある。また結果映像はレンダリングやテクスチャマッピングの精度に依存するため,顔としての自然さに欠ける恐れがある。そこで本研究では自然な結果が得られる画像処理ベースのビデオ翻訳手法を提案する。入力には俳優と声優の2つの発話動画を用いる。俳優の動画フレームのうち声優口形状と最も類似するものを主成分分析を用いて選択し,フレーム間の時間連続性を考慮しつつ並び替える。これにより発話に伴う喉の動きまでを表現したビデオ翻訳映像を得ることができ,従来手法よりも自然な出力が可能になる。(著者抄録)

シソーラス用語： *コンピュータグラフィックス ,  *映画 ,  *画像合成 ,  *動画像 ,  主成分分析 ,  *翻訳【言語】 ,  画像認識
準シソーラス用語： *動画生成 ,  形状検出 ,  吹替 ,  多言語翻訳 ,  *ビデオ翻訳

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (6件)： 主成分分析 ,  類似 ,  形状検出 ,  ビデオ ,  翻訳 ,  動画