Pat

J-GLOBAL ID：201303019454879687

映像付加情報関係性学習装置、方法、及びプログラム

Inventor： 木村 昭悟 ,  亀岡 弘和 ,  坂野 鋭 ,  杉山 将
Applicant, Patent owner： 日本電信電話株式会社 ,  国立大学法人東京工業大学
Agent (1)： 特許業務法人太陽国際特許事務所
Gazette classification：公開公報
Application number (International application number)：2011249956
Publication number (International publication number)：2013105393
Application date： Nov. 15, 2011
Publication date： May. 30, 2013
Summary：

【課題】映像に含まれる画像情報と音響情報との双方を利用し、かつその相互の共起関係を考慮して、それら情報と言語情報との関係性の学習をより高精度に行うことができるようにする。【解決手段】蓄積画像特徴抽出部5によって、完全蓄積映像及び不完全蓄積映像の各々から、完全蓄積画像特徴及び不完全蓄積画像特徴を抽出する。蓄積音響特徴抽出部6によって、完全蓄積映像及び不完全蓄積映像の各々から、完全蓄積音響特徴及び不完全蓄積音響特徴を抽出する。蓄積付加情報特徴抽出部4によって、蓄積付加情報の各々から蓄積付加情報特徴を抽出する。蓄積潜在変数抽出部8によって、映像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する。映像・付加情報間関係性学習部9によって、映像と付加情報との関係性を記述するモデルである映像・付加情報関係モデルを学習する。【選択図】図1

Claim (excerpt)：

音響付き動画像である映像と、前記映像を説明する情報である付加情報との関係性を学習する映像付加情報関係性学習装置であって、 付加情報が予め付与された映像の集合である完全蓄積映像集合の要素である完全蓄積映像、及び付加情報が与えられていない映像の集合である不完全蓄積映像集合の要素である不完全蓄積映像の各々から、画像の特性を表現するベクトルである完全蓄積画像特徴及び不完全蓄積画像特徴を抽出する蓄積画像特徴抽出手段と、 前記完全蓄積映像集合の要素である完全蓄積映像、及び前記不完全蓄積映像集合の要素である不完全蓄積映像の各々から、音響の特性を表現するベクトルである完全蓄積音響特徴及び不完全蓄積音響特徴を抽出する蓄積音響特徴抽出手段と、 付与された付加情報の集合である蓄積付加情報集合の要素である蓄積付加情報の各々から、付加情報の特性を表現するベクトルである蓄積付加情報特徴を抽出する蓄積付加情報特徴抽出手段と、 前記完全蓄積画像特徴の集合である完全蓄積画像特徴集合、前記不完全蓄積画像特徴の集合である不完全蓄積画像特徴集合、前記完全蓄積音響特徴の集合である完全蓄積音響特徴集合、前記不完全蓄積音響特徴の集合である不完全蓄積音響特徴集合、及び前記蓄積付加情報特徴の集合である蓄積付加情報特徴集合から、映像と付加情報の関係性を記述するための変数の集合である蓄積潜在変数集合を抽出する蓄積潜在変数抽出手段と、 前記完全蓄積画像特徴集合、前記不完全蓄積画像特徴集合、前記完全蓄積音響特徴集合、前記不完全蓄積音響特徴集合、前記蓄積付加情報特徴集合、及び前記蓄積潜在変数集合から、映像と付加情報との関係性を記述するモデルである映像・付加情報関係モデルを学習する映像・付加情報間関係性学習手段と を含む映像付加情報関係性学習装置。

IPC (5)：

G06T 7/20 ,  G06F 17/30 ,  G06T 7/00 ,  G10L 15/00 ,  G10L 25/57

FI (6)：

G06T7/20 C ,  G06F17/30 170D ,  G06F17/30 220C ,  G06T7/00 P ,  G10L15/00 200G ,  G10L11/00 402C

F-Term (5)：

5D015LL11 ,  5L096BA16 ,  5L096CA04 ,  5L096HA02 ,  5L096HA09