効率的なタスク指向対話システムのための予歪LMバックボーン上のMarkov生成アーキテクチャの構築【JST・京大機械翻訳】

Liu Hong; Cai Yucheng; Ou Zhijian; Huang Yi; Feng Junlan

プレプリント

J-GLOBAL ID：202202203392712049 整理番号：22P0331740

効率的なタスク指向対話システムのための予歪LMバックボーン上のMarkov生成アーキテクチャの構築【JST・京大機械翻訳】

Building Markovian Generative Architectures over Pretrained LM Backbones for Efficient Task-Oriented Dialog Systems

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年04月13日プレプリントサーバーでの情報更新日： 2022年10月13日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

最近,GPT2とT5のような変換器ベースの事前訓練言語モデル(PLM)は,生成タスク指向対話(TOD)システムを構築するために活用されてきた。既存のPLMベースモデルの欠点は,ターン間の非Markovアーキテクチャであり,すなわち,全履歴を各ターンの条件付け入力として使用する。最初に,これはメモリと計算における非効率性をもたらした。さらに,全歴史を用いることは,モデルの複雑さを増加させ,特に,少量のラベル付き訓練データ(低資源設定)に直面した場合,訓練効率に悪影響を及ぼす可能性がある。本論文では,対話状態がMarkov状態と見なすことができるという観測により,効率的なTODシステムのためのPLMバックボーン上のMarkov生成アーキテクチャ(MGA)の構築を提案した。マルチWOZ2.1に関する実験は,豊富な資源設定において,提案したMarkovモデルが性能劣化なしでメモリと時間コストを減らすことを示した。低資源設定では,Markovモデルの訓練効率はより重要である。【JST・京大機械翻訳】

, , , , , , , ,
, , , , 【Automatic Indexing@JST】

自然語処理 , 人工知能

, , , , ,

前のページに戻る