文献

J-GLOBAL ID：202402237677093925   整理番号：24A2450863

J-CRe3: 実世界における参照関係解決のための 日本語対話データセット

J-CRe3: A Japanese Conversation Dataset for Real-world Reference Resolution

著者 (16件)： 植田暢大 (京都大学) ,  植田暢大 (理化学研究所) ,  植田暢大 (現所属:日本電気株式会社) ,  波部英子 (理化学研究所) ,  松井陽子 (理化学研究所) ,  湯口彰重 (理化学研究所) ,  湯口彰重 (東京理科大学) ,  河野誠也 (理化学研究所) ,  河野誠也 (奈良先端科学技術大学院大学) ,  川西康友 (理化学研究所) ,  川西康友 (奈良先端科学技術大学院大学) ,  黒橋禎夫 (京都大学) ,  黒橋禎夫 (理化学研究所) ,  黒橋禎夫 (国立情報学研究所) ,  吉野幸一郎 (理化学研究所) ,  吉野幸一郎 (奈良先端科学技術大学院大学)
資料名： 自然言語処理(Web)  (Journal of Natural Language Processing (Web))
巻： 31  号： 3  ページ： 1107-1139(J-STAGE)  発行年： 2024年 
JST資料番号： U2528A  ISSN： 2185-8314  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 実世界で人間を支援するロボットにとって,身体世界を含む状況の理解は重要な課題である.特に対話のような言語を用いたインタラクションを通じて人間との協業を行おうとする場合,ロボットの 1 人称視点の画像等から得られる情報とインタラクション中の情報における参照関係を適切に紐解かねばならない.本研究ではこうした実世界における,マルチモーダル参照解析タスクを提案し,本タスクのための参照タグ付き実世界対話データセット (J-CRe3) を構築する.本データセットには家庭内における主人とそのお手伝いロボットを想定した2者間の実世界対話動画および音声が含まれる.さらに,対話書き起こしテキスト中のメンションに 1 人称視点動画におけるフレーム内の物体領域が紐付けられている.この紐付けには直接的な参照関係だけでなく,述語と項の関係や橋渡し照応関係も含まれる.既存のテキスト間の照応解析モデルおよび画像のフレーズグラウンディングモデルを組み合わせた実験を行った結果,今回提案するタスクは,テキスト間の解析に比べテキストと物体間の関係解析が非常に困難で挑戦的な課題であることを示した.(著者抄録)

シソーラス用語： *自然言語処理 ,  日本語 ,  会話 ,  相互作用 ,  *対話処理 ,  *ロボット ,  人間 ,  エージェント
準シソーラス用語： 対話 ,  インタラクション

著者キーワード (8件)： 実世界対話 ,  照応解析 ,  グラウンディング ,  1 人称視点動画 ,  Real-world Dialogue ,  Reference Resolution ,  Grounding ,  Egocentric Video

分類 (2件)： 自然語処理  (JE06000L) ,  人工知能  (JE08000Z)

引用文献 (38件)：

• Bird, S., Klein, E., and Loper, E. (2009). Natural Language Processing with Python: Analyzing Text with the Natural Language Toolkit. O’Reilly Media, Inc.
• Damen, D., Doughty, H., Farinella, G. M., Furnari, A., Ma, J., Kazakos, E., Moltisanti, D., Munro, J., Perrett, T., Price, W., and Wray, M. (2022). “Rescaling Egocentric Vision: Collection, Pipeline and Challenges for EPIC-KITCHENS-100.” International Journal of Computer Vision (IJCV), 130, pp. 33-55.
• Das, A., Kottur, S., Gupta, K., Singh, A., Yadav, D., Moura, J. M., Parikh, D., and Batra, D. (2017). “Visual Dialog.” In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 326-335.
• Du, Y., Zhao, Z., Song, Y., Zhao, Y., Su, F., Gong, T., and Meng, H. (2023). “StrongSORT: Make DeepSORT Great Again.” IEEE Transactions on Multimedia, 25, pp. 8725-8737.
• Grauman, K., Westbury, A., Byrne, E., Chavis, Z., Furnari, A., Girdhar, R., Hamburger, J., Jiang, H., Liu, M., Liu, X., Martin, M., Nagarajan, T., Radosavovic, I., Ramakrishnan, S. K., Ryan, F., Sharma, J., Wray, M., Xu, M., Xu, E. Z., Zhao, C., Bansal, S., Batra, D., Cartillier, V., Crane, S., Do, T., Doulaty, M., Erapalli, A., Feichtenhofer, C., Fragomeni, A., Fu, Q., Fuegen, C., Gebreselasie, A., Gonzalez, C., Hillis, J., Huang, X., Huang, Y., Jia, W., Khoo, W., Kolar, J., Kottur, et al. (2022). “Ego4D: Around the World in 3,000 Hours of Egocentric Video.” In IEEE/CVF Computer Vision and Pattern Recognition (CVPR), pp. 18995-19012.

タイトルに関連する用語 (5件)： 世界 ,  参照 ,  日本語 ,  対話 ,  データセット