特許
J-GLOBAL ID：200903000723216821
番組登場人物抽出装置及び番組登場人物抽出プログラム
発明者：
,
,
出願人/特許権者：
代理人 (2件)：
磯野 道造
, 多田 悦夫
公報種別：公開公報
出願番号（国際出願番号）：特願2008-101243
公開番号（公開出願番号）：特開2009-253798
出願日： 2008年04月09日
公開日（公表日）： 2009年10月29日
要約：
【課題】作成コストを大きくすることなく、番組に登場した人物の顔画像に、役名や人物名を付加したものを当該番組から抽出することができる番組登場人物抽出装置及び番組登場人物抽出プログラムを提供する。【解決手段】番組登場人物抽出装置1は、番組の映像、音声、クローズドキャプション及び当該番組を紹介したEPGから、前記番組に登場する人物の顔画像、役名及び人物名を抽出するものであって、EPG解析手段3と、字幕解析手段5と、話者分類手段7と、話者ID決定手段9と、顔画像検出手段11と、顔画像ID決定手段13と、代表顔画像選択手段15と、相関図作成手段17とを備える。【選択図】図1
請求項（抜粋）：
番組の映像、音声、クローズドキャプションから、前記番組に登場する人物の顔画像と、役名とを対応付けて抽出する番組登場人物抽出装置であって、
前記クローズドキャプションから固有表現抽出によって前記役名を抽出して前記クローズドキャプションに付されている時刻と当該役名とを対応付ける字幕解析手段と、
クラスタリング手法を用いて、前記番組の音声を前記人物のいずれかが属していると予測されるクラスタに分類する話者分類手段と、
前記話者分類手段で分類されたクラスタと、前記字幕解析手段で抽出された役名とを前記クローズドキャプションに付されている時刻に基づいて対応付けて、前記話者を特定する識別子である話者IDを決定する話者ID決定手段と、
予め設定した顔画像検出処理によって、前記番組の映像から前記人物の顔画像を検出し、当該顔画像を検出した映像に付されている時刻と対応付ける顔画像検出手段と、
この顔画像検出手段で時刻と対応付けた顔画像と、前記話者ID決定手段で決定した話者IDとを、前記クローズドキャプションに付されている時刻と当該顔画像を検出した映像に付されている時刻とが一致した場合に対応付けて、前記顔画像を特定する識別子である顔画像IDを決定する顔画像ID決定手段と、
この顔画像ID決定手段で顔画像IDが決定された顔画像の中で、当該顔画像が予め設定したフレーム数以上連続若しくは予め設定したフレーム数における割合が所定以上検出され、顔の領域となる画素の数が最も多いものを、当該顔画像IDの代表画像として選択する代表顔画像選択手段と、
を備えることを特徴とする番組登場人物抽出装置。
IPC (3件)：
H04N 5/91
, H04N 7/173
, G06F 17/30
H04N5/91 N
, H04N7/173 640A
, G06F17/30 220A
, H04N5/91 Z
5B075ND16
, 5B075NS01
, 5B075UU40
, 5C053FA06
, 5C053FA14
, 5C053GB06
, 5C053GB12
, 5C053HA29
, 5C053JA01
, 5C053JA22
, 5C053JA30
, 5C164MA06S
, 5C164MB11S
, 5C164PA43
, 5C164UB08P
, 5C164UD52P
