特許
J-GLOBAL ID：202303018074447866
複数の撮影条件下における認識対象物のマルチモーダル画像を用いた画像認識学習システム、画像認識学習方法および画像認識学習プログラム
発明者：
,
,
,
出願人/特許権者：
代理人 (1件)：
永井 道彰
公報種別：公開公報
出願番号（国際出願番号）：特願2022-016781
公開番号（公開出願番号）：特開2023-114477
出願日： 2022年02月06日
公開日（公表日）： 2023年08月18日
要約：
【課題】第1及び第2のモダリティを利用して認識対象物の学習モデルを構築する画像認識学習システム、方法及びプログラムを提供する。
【解決手段】画像認識学習システム100は、第1のモダリティ及び第2のモダリティで撮影されたマルチモーダル画像データを入力するマルチモーダル画像データ入力部110、マルチモーダル画像データをマルチモーダル画像空間へ投影する投影処理機能を備えたマルチモーダル空間投影処理部120、第1のモダリティの画像データをマルチモーダル画像空間に投影し、正解ラベル付けを行って学習させる正解学習処理部130、第2のモダリティの画像データをマルチモーダル画像空間に投影し、学習結果の群と似通った特徴量を持つ群に疑似ラベル付けを行って疑似学習させる疑似学習処理部140及び疑似学習結果の群を、マルチモーダル画像空間に再投影し、正解学習結果を拡張する拡張学習を行う拡張学習処理部150を備える。
【選択図】図1
請求項（抜粋）：
複数の撮影条件下における認識対象物のマルチモーダル画像データを用いて、前記認識対象物の特徴量の変化が大きい第1のモダリティと、前記認識対象物の特徴量の変化が小さい第2のモダリティを利用して学習することにより前記認識対象物の画像認識精度を向上する画像認識学習システムであって、
前記第1のモダリティで撮影された画像データおよび前記第2のモダリティで撮影された前記マルチモーダル画像データを入力するマルチモーダル画像データ入力部と、
前記複数の撮影条件の条件軸と、画像の特徴量の特徴量軸で形成されるマルチモーダル画像空間を管理するマルチモーダル画像空間管理機能と、入力された前記マルチモーダル画像データを前記マルチモーダル画像空間へ投影する投影処理機能を備えたマルチモーダル空間投影処理部と、
前記第1のモダリティで撮影された画像データを前記マルチモーダル空間投影処理部により前記マルチモーダル画像空間に投影し、正解ラベル付けを行って学習させる前記第1のモダリティ下の正解学習処理部と、
前記第2のモダリティで撮影された画像データを前記マルチモーダル空間投影処理部により前記マルチモーダル画像空間に投影し、前記正解学習処理部による前記学習結果の群と似通った特徴量を持つ群に疑似ラベル付けを行って疑似学習させる前記第2のモダリティ下の疑似学習処理部と、
前記疑似学習処理部の前記第2のモダリティ下の疑似学習結果の群を、前記マルチモーダル空間投影処理部により前記マルチモーダル画像空間に再投影し、当該投影結果をもとにして前記第1のモダリティ下の正解学習結果を拡張する拡張学習を行う拡張学習処理部を備えたことを特徴とするマルチモーダル画像を用いた画像認識学習システム。
IPC (4件)：
G06V 10/80
, G06T 7/00
, G06F 16/53
, G06N 20/00
G06V10/80
, G06T7/00 350B
, G06F16/53
, G06N20/00 130
5B175DA02
, 5B175FA01
, 5B175FB04
, 5B175HB03
, 5L096BA04
, 5L096BA06
, 5L096CA04
, 5L096CA05
, 5L096JA11
, 5L096KA04
