COLD復号化:Langevin動力学によるエネルギーベース制約付きテキスト生成【JST・京大機械翻訳】

Qin Lianhui; Welleck Sean; Khashabi Daniel; Choi Yejin

プレプリント

J-GLOBAL ID：202202220913210209 整理番号：22P0294317

COLD復号化:Langevin動力学によるエネルギーベース制約付きテキスト生成【JST・京大機械翻訳】

COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年02月23日プレプリントサーバーでの情報更新日： 2022年10月13日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

テキスト生成の多くのアプリケーションは,生成されたテキストの意味論またはスタイルを制御するために異なる制約を組み込むことを必要とする。これらの制約は,ハード(例えば,あるキーワードが出力に含まれている)とソフト(例えば,左または右手の文脈で出力を文脈化すること)である。本論文では,エネルギー関数を通して制約を限定する制約付き生成を統一する復号化フレームワークであるLangevin動力学(COLD)によるエネルギーベース制約復号化を提示し,次に,勾配ベースサンプリングを通して制約に対して効率的な微分可能推論を行った。COLD復号化は,三つの挑戦的なテキスト生成アプリケーション,即ち,語彙制約生成,演繹推論,および対物的推論を通して実証されたように,任意のタスク特異的微調整を必要とせずに,直接オフラインの左から右言語モデルに応用できる柔軟なフレームワークである。これらの制約付き生成タスクに関する著者らの実験は,自動および人間評価に関して,著者らのアプローチの有効性を指摘する。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

自然語処理 , パターン認識

, , , ,

前のページに戻る