知識注入復号化【JST・京大機械翻訳】

Liu Ruibo; Zheng Guoqing; Gupta Shashank; Gaonkar Radhika; Gao Chongyang; Vosoughi Soroush; Shokouhi Milad; Awadallah Ahmed Hassan

プレプリント

J-GLOBAL ID：202202205820571547 整理番号：22P0327506

知識注入復号化【JST・京大機械翻訳】

Knowledge Infused Decoding

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2022年04月06日プレプリントサーバーでの情報更新日： 2022年04月06日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

事前訓練言語モデル(LM)は予訓練コーパスからかなりの量の知識を記憶することが示されている。しかし,それらは,ある文脈を与える事実正しく正しい知識を思い出すのにまだ限られている。したがって,知識集約的自然言語生成(NLG)タスクで使用するとき,それらは,対物的または幻覚的発生に悩まされる傾向がある。この問題に対する最近の修復は,知識を組み込むための事前訓練あるいはタスク微調整目的の修正に焦点を当て,通常,実際のアプリケーションのためのLMの付加的高コスト訓練またはアーキテクチャ修正を必要とする。LM復号化の各ステップに外部知識を動的に注入する生成LMのための新しい復号アルゴリズムである知識融合復号(KID)を提案した。具体的には,動的に生成された外部知識トリeと相互作用する現在のコンテキストに基づく局所知識メモリを維持し,強化学習を介して復号化をガイドするための知識意識制約として局所メモリを連続的に更新する。6つの多様な知識集約型NLGタスクにおいて,KIDを装着したタスク-診断LM(例えば,GPT-2およびBART)は,多くのタスク最適化最先端モデルより優れ,7つの関連する知識注入技術について,少数ショットシナリオにおいて特に強い性能を示した。人間の評価は,複数のベースラインと比較して,入力コンテキストに対するより適切で事実的な言語を生成するKIDの能力を確認する。最後に,KIDは曝露バイアスを軽減し,より長いシーケンスを生成するとき安定した発電品質を提供する。KIDのコードはhttps://github.com/microsoft/KIDで利用可能である。【JST・京大機械翻訳】

, , , , , , , , , , , , , ,

パターン認識 , 自然語処理

, ,

前のページに戻る