文脈チューニング:自然言語生成のための文脈化促進の学習【JST・京大機械翻訳】

Tang Tianyi; Li Junyi; Zhao Wayne Xin; Wen Ji-Rong

プレプリント

J-GLOBAL ID：202202212027395777 整理番号：22P0277830

文脈チューニング:自然言語生成のための文脈化促進の学習【JST・京大機械翻訳】

Context-Tuning: Learning Contextualized Prompts for Natural Language Generation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年01月21日プレプリントサーバーでの情報更新日： 2022年10月03日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

最近,事前訓練された言語モデル(PLM)は言語生成において例外的な成功を有した。PLMにより符号化された豊富な知識を活用するために,単純だが強力なパラダイムは,離散トークンあるいは連続埋込みのいずれかの形式で迅速な利用である。既存の研究において,これらの迅速な方法は入力に無関係であり,入力意味論の十分な考慮を欠いている。この課題に取り組むために,自然言語生成のためのPLMを微調整するために,コンテキストチューニングと呼ばれる新しい連続高速アプローチを提案する。最初に,発生のためのPLMから有用な知識を引き出すために,入力テキストに基づいて,即座を引き出した。著者らは,文脈化された促進としてそのような迅速なものを参照する。第2に,著者らは,出力から入力への逆生成プロセスをモデル化することによって,自然言語生成のプロセスを改善するために,連続的逆速速を用いて,入力により関連する生成テキストを作った。さらに,良好な性能を維持しながら,パラメータの0.12%だけを微調整する軽量コンテキストチューニング法を利用した。このコードはhttps://github.com/RUCAIBox/Context Tuningで公開されている。【JST・京大機械翻訳】

, , , , , , , ,
, , , , 【Automatic Indexing@JST】

自然語処理 , 人工知能

, , , ,

前のページに戻る