文献

J-GLOBAL ID：202302219935933835   整理番号：23A0949900

実世界における総合的参照解析を目的としたマルチモーダル対話データセットの構築

著者 (12件)： 植田暢大 (京大 大学院情報学研究科) ,  植田暢大 (理研) ,  波部英子 (理研) ,  湯口彰重 (理研) ,  湯口彰重 (奈良先端科学技術大学院大) ,  河野誠也 (理研) ,  川西康友 (理研) ,  川西康友 (奈良先端科学技術大学院大) ,  黒橋禎夫 (京大 大学院情報学研究科) ,  黒橋禎夫 (理研) ,  吉野幸一郎 (理研) ,  吉野幸一郎 (奈良先端科学技術大学院大)
資料名： 言語処理学会年次大会発表論文集(Web)  (Proceedings of the Annual Meeting of the Association for Natural Language Processing (Web))
巻： 29th  ページ： ROMBUNNO.H12-1 (WEB ONLY)  発行年： 2023年03月 
JST資料番号： U0384A  ISSN： 2188-4420  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 実世界で話者同士が視覚情報を共有しながら行う対話では,物体に対する参照表現が多く出現する.このような表現の参照先の解決のため,本研究ではマルチモーダル参照解析タスクを提案し,本タスクのためのマルチモーダル対話データセットを構築する.本データセットは実世界における対話動画および音声を基にしており,対話テキスト中のフレーズと一人称視点動画におけるフレーム内の物体領域が紐付けられている.この紐付けには同一のものを指す関係だけでなく,述語と項の関係や橋渡し照応関係も含まれる.(著者抄録)

シソーラス用語： 表現 ,  情報 ,  視覚 ,  *マルチモーダルインタフェイス ,  会話型処理 ,  対話処理 ,  物体認識 ,  解析 ,  自然言語処理 ,  視覚情報 ,  照応解析
準シソーラス用語： マルチモーダルインタラクション ,  *マルチモーダル対話 ,  言語表現 ,  *参照解析 ,  *参照表現 ,  実世界インタラクション

分類 (2件)： 自然語処理  (JE06000L) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (6件)： 世界 ,  参照 ,  解析 ,  マルチモーダル対話 ,  データセット ,  構築