DialogVED:対話応答生成のための予歪潜在可変エンコーダ-復号器モデル【JST・京大機械翻訳】

Chen Wei; Gong Yeyun; Wang Song; Yao Bolun; Qi Weizhen; Wei Zhongyu; Hu Xiaowu; Zhou Bartuer; Mao Yi; Chen Weizhu; Cheng Biao; Duan Nan

プレプリント

J-GLOBAL ID：202202208426936636 整理番号：22P0339946

DialogVED:対話応答生成のための予歪潜在可変エンコーダ-復号器モデル【JST・京大機械翻訳】

DialogVED: A Pre-trained Latent Variable Encoder-Decoder Model for Dialog Response Generation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (12件)： , , , , , , , , , , ,
資料名：
発行年： 2022年04月27日プレプリントサーバーでの情報更新日： 2022年10月30日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

オープンドメインにおける対話応答生成は,主要課題が関連で多様な応答を生成する重要な研究トピックである。本論文では,DialogVEDと呼ばれる新しい対話予訓練フレームワークを提案し,それは,応答の適切性と多様性を増加させるために,拡張符号器デコーダ予訓練フレームワークに連続潜在変数を導入した。大きな対話コーパス(Reddit)の助けを借りて,著者らは,言語モデル(LM)と変分オートエンコーダ(VAEs)で採用された次の4つのタスクを用いて,モデルを事前訓練した。1)マスク言語モデル;2)応答発生;3)語彙予測;4)KL発散減少。また,事前訓練モデルの性能を改善するために,ダイアログにおけるターン構造をモデル化するために追加パラメータを追加した。応答生成のためのPerssonaChat,DayDialog,およびDSTC7-AVSDベンチマークに関する実験を行った。実験結果は,著者らのモデルがこれらのすべてのデータセットに関して新しい最先端の結果を達成することを示した。【JST・京大機械翻訳】

, , , , , , ,
, , , 【Automatic Indexing@JST】

人間機械系 , 自然語処理

, , , , , ,

前のページに戻る