大規模予訓練言語モデルによる交互再帰対話モデル【JST・京大機械翻訳】

Wu Qingyang; Zhang Yichi; Li Yu; Yu Zhou

プレプリント

J-GLOBAL ID：202202218642193902 整理番号：21P0017944

大規模予訓練言語モデルによる交互再帰対話モデル【JST・京大機械翻訳】

Alternating Recurrent Dialog Model with Large-scale Pre-trained Language Models

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2019年10月08日プレプリントサーバーでの情報更新日： 2021年04月26日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

既存の対話システムモデルは大規模な人間アノテーションを必要とし,異なるタスクに一般化するのが難しい。BERTおよびGPT-2(Devlin等,2019;Radford et al., 2019)のような大きな事前訓練言語モデルの最近の成功は,ダウンストリームNLPタスクにおける言語事前の組み込みの有効性を示唆している。しかし,多くの事前訓練言語モデルが対話応答生成をいかに助けることができるかは,まだ探査中である。本論文では,単純,一般的,および効果的なフレームワークを提案した:代替Roles Dialogモデル(ARDM)。ARDMは各話者を別々にモデル化し,大きな事前訓練言語モデルを利用する。それは,信念状態や対話のような人間アノテーションからの監視を必要とせず,効果的な会話を達成する。ARDMは,2つの一般的なタスク指向対話データセット:CamRest676とMultiWOZに関して最先端の手法とは性能が優れていた。さらに,ARDMを,説得のようなより挑戦的な非協調タスクに一般化できる。説得作業において,ARDMは,人物に対する人間のような応答を生成することができる。【JST・京大機械翻訳】

, , , ,
, , , 【Automatic Indexing@JST】

自然語処理

, , , ,

前のページに戻る