文献

J-GLOBAL ID：202102259309140346   整理番号：21A0575255

セマンティックセグメンテーションに基づく映画ショット分類の比較研究【JST・京大機械翻訳】

Comparative Study of Movie Shot Classification Based on Semantic Segmentation

著者 (2件)： Bak Hui-Yong (Department of Mechatronics Engineering, Inha University, 100 Inha-ro, Michuhol-gu, Incheon 22212, Korea) ,  Park Seung-Bo (Department of Software Convergence Engineering, Inha University, 100 Inha-ro, Michuhol-gu, Incheon 22212, Korea)
資料名： Applied Sciences (Web)  (Applied Sciences (Web))
巻： 10  号： 10  ページ： 3390  発行年： 2020年 
JST資料番号： U7135A  ISSN： 2076-3417  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： スイス (CHE)  言語： 英語 (EN)

抄録/ポイント： ショットタイプ決定は,選択したショットタイプから,感情,文字の心理学,および空間情報のような膨大な情報のために,映画解析における非常に重要な事前タスクである。種々の映画を解析するために,ショットタイプを自動的に分類する技術が必要とされる。以前のショットタイプ分類研究は,顔のオンスクリーンの割合によって,または畳み込みニューラルネットワーク(CNN)を用いてショットタイプを分類した。スクリーン上の顔の割合によってショットタイプを分類した研究は,もし人がスクリーン上でないならば,ショットを分類しなかった。CNNはスクリーン上の人がない場合でもショットタイプを分類したが,画像の意味論的解析の代わりに分類できない特定のショットがあり,その方法は画像の特徴とパターンだけによってそれらを分類する。したがって,意味的セグメンテーションを通して行うことができる,画像意味的に画像にアクセスするために追加情報が必要である。従って,本研究では,ショットタイプ分類の性能を,映画から抽出したフレームの意味セグメンテーションを前処理することにより改善した。セマンティックセグメンテーションは,画像の意味的に画像に接近し,オブジェクト間の境界関係を識別する。意味セグメンテーションの代表的技術はMask R-CNNとYolactを含む。ショットタイプ分類のための前処理として,これらを用いて性能を比較し,評価する研究を行った。その結果,意味セグメンテーションで前処理されたフレームを用いたショットタイプ分類の平均精度は,そのような前処理なしのフレームを用いたショットタイプ分類と比較して,93%から94.9%に増加した。特に,ResNet-50とYolactを用いるとき,ショットタイプの分類は3%の性能改善(93%から96%の精度)を示した。Copyright 2021 The Author(s) All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *セグメンテーション ,  前処理 ,  スクリーン ,  粒状材 ,  意味解析
準シソーラス用語： 空間情報 ,  畳込みニューラルネットワーク ,  オンスクリーン , 【Automatic Indexing@JST】

著者キーワード (5件)： ショット型分類 ,  セマンティックセグメンテーション ,  CNN ,  マスクR-CNN ,  ヨーグルト

分類 (2件)： 図形・画像処理一般  (JE04010I) ,  パターン認識  (JE07000S)

引用文献 (26件)：

• Savardi, M.; Signoroni, A.; Migliorati, P.; Benini, S. Shot scale analysis in movies by convolutional neural networks. In Proceedings of the 25th IEEE International Conference on Image Processing (ICIP), Athens, Greece, 7-10 October 2018; pp. 2620-2624.
• Katz, S.D.; Katz, S. Film Directing: Shot by Shot; Michael Wiese Productions: Studio City, CA, USA, 1991.
• Thompson, R. Grammar of the Edit, 2nd ed.; Focal Press: Waltham, MA, USA, 2009.
• Canini, L.; Benini, S.; Leonardi, R. Affective analysis on patterns of shot types in movies. In Proceedings of the 7th International Symposium on Image and Signal Processing and Analysis (ISPA), Dubrovnik, Croatia, 4-6 September 2011; pp. 253-258.
• Cherif, I.; Solachidis, V.; Pitas, I. Shot type identification of movie content. In Proceedings of the 9th International Symposium on Signal Processing and Its Applications, Sharjah, UAE, 12-15 February 2007; pp. 1-4.

タイトルに関連する用語 (5件)： セマンティックセグメンテーション ,  映画 ,  ショット ,  分類 ,  研究