文献

J-GLOBAL ID：202202217760470376   整理番号：22A2442547

説明文生成を用いた動作行動予測

著者 (6件)： 中村泰貴 (東大) ,  中村泰貴 (理研) ,  河野誠也 (理研) ,  湯口彰重 (理研) ,  川西康友 (理研) ,  吉野幸一郎 (理研)
資料名： 情報処理学会研究報告(Web)  (IPSJ Technical Report (Web))
巻： 2022  号： NL-253  ページ： Vol.2022-NL-253,No.6,1-7 (WEB ONLY)  発行年： 2022年09月22日 
JST資料番号： U0451A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： ロボットをはじめとする人間を支援するシステムは,観測から状況を正しく理解し,人間が必要とする支援行動を出力する必要がある。特に人間を対象とした支援において,システムがどのような状況理解を行い,どのような動作行動の生成しようとしているかは,言語で表現することが重要である。そこで本研究では,現在の状況からシステムが行うべき行動を予測しその内容を言語で説明する,動作行動予測とその言語化(captioning operative action)に取り組む。具体的には,ある状況とそこに対して何らかの支援行動が行われた理想状態の画像を入力とし,どのような支援行動が行われたかを説明する言語化タスクによって動作行動予測を実現するシステムを構築した。この際,こうした状況を説明する補助情報であるシーングラフの予測を補助タスクとして用いることで,シーングラフのアノテーションが存在しないテストセットに対しても精度高く動作行動の予測・言語化を行うことができることが確認された。(著者抄録)

シソーラス用語： *福祉ロボット ,  *文書処理 ,  アノテーション ,  動画像 ,  *予測モデル ,  評価基準 ,  支援プログラム ,  データ収集 ,  *特徴抽出 ,  画像合成 ,  *行動予測 ,  状況認識 ,  生活支援ロボット ,  予測システム ,  事例分析 ,  *画像特徴抽出 ,  *文章生成 ,  *人間支援型ロボット ,  *ロボット ,  *モデル
準シソーラス用語： 画像アノテーション ,  *言語化 ,  自動評価 ,  *説明文 ,  *文生成 ,  *人間支援ロボット

分類 (2件)： 自然語処理  (JE06000L) ,  パターン認識  (JE07000S)

引用文献 (24件)：

• Vinyals, O., Toshev, A., Bengio, S. and Erhan, D.: Show and tell: Lessons learned from the 2015 mscoco image captioning challenge, IEEE Transactions on Pattern Analysis and Machine intelligence, Vol. 39, No. 4, pp. 652-663 (2016).
• You, Q., Jin, H., Wang, Z., Fang, C. and Luo, J.: Image captioning with semantic attention, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4651-4659 (2016).
• Dou, L., Qin, G., Wang, J., Yao, J.-G. and Lin, C.-Y.: Data2text studio: Automated text generation from structured data, Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 13-18 (2018).
• Ishigaki, T., Topić, G., Hamazono, Y., Noji, H., Kobayashi, I., Miyao, Y. and Takamura, H.: Generating Racing Game Commentary from Vision, Language, and Structured Data, Proceedings of the 14th International Conference on Natural Language Generation (INLG), pp. 103-113 (2021).
• Takano, W. and Nakamura, Y.: Statistical mutual conversion between whole body motion primitives and linguistic sentences for human motions, The International Journal of Robotics Research, Vol. 34, No. 10, pp. 1314-1328 (2015).

タイトルに関連する用語 (3件)： 説明 ,  文生成 ,  行動予測