文献

J-GLOBAL ID：202002218285603714   整理番号：20A1512331

対話システムのための適応注意を持つニューラルマルチモーダル信念追跡器【JST・京大機械翻訳】

Neural Multimodal Belief Tracker with Adaptive Attention for Dialogue Systems

著者 (5件)： Zhang Zheng (Tsinghua University, China) ,  Liao Lizi (National University of Singapore, Singapore) ,  Huang Minlie (Tsinghua University, China) ,  Zhu Xiaoyan (Tsinghua University, China) ,  Chua Tat-Seng (National University of Singapore, Singapore)
資料名： ACM Proceedings  (ACM Proceedings)
号： WWW ’19  ページ： 2401-2412  発行年： 2019年 
JST資料番号： D0698C  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： マルチモーダル対話システムは,人間-コンピュータインタラクションのためのより自然で有益な方法でますます注目を集めている。そのコアコンポーネントの1つとして,信念トラッカーは対話の各段階でユーザの目標を推定し,対話理解の能力を検証する直接的方法を提供する。しかし,信念トラッカーに関する既存の研究は,テキストモダリティに限られており,それは,製品画像を有するもののようなマルチモーダルシステムにおける豊富な意味論を捕えるために容易に拡張できない。例えば,ファッションドメインにおいて,衣服の視覚外観はユーザの意図を理解する上で重要な役割を果たす。この場合,既存の信念トラッカーはマルチモーダル対話システムに対して正確な信念状態を生成することができない。本論文では,マルチモーダル証拠が意味理解と対話状態追跡をどのように促進するかを実証するために,初めてのニューラルマルチモーダル信念トラッカー(NMBT)を提示した。マルチモーダル入力を考えると,テキストの発話を表現するためにテキスト符号器を適用する一方で,モデルは視覚モダリティで明らかにされた意味論に特別な考慮を与える。それは,画像サブ領域への深部を削除して,多重インスタンス学習を通して概念確率を統合することによって,概念レベル様式意味論を学習する。次に,各ターンにおいて,適応注意機構は,より正確な対話状態予測のために,視覚とテキストの両方のモダリティの異なる証拠源に自動的に強調する。ファッションドメインにおけるマルチターンタスク指向対話データセットに関する広範な評価を行い,その結果は,この方法が広範囲のベースラインと比較して優れた性能を達成することを示した。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 視覚 ,  意味論 ,  学習 ,  ファッション ,  状態推定 ,  衣服 ,  多重化 ,  符号器 ,  *多モード ,  基準線 ,  発話 ,  会話
準シソーラス用語： モダリティ ,  *対話システム ,  意味理解 , 【Automatic Indexing@JST】

分類 (2件)： 人間機械系  (IB03000G) ,  応用心理学  (AE02000A)

タイトルに関連する用語 (5件)： 対話システム ,  適応 ,  注意 ,  信念 ,  追跡