意見要約のための効率的な少数ショット微調整【JST・京大機械翻訳】

Brazinskas Arthur; Nallapati Ramesh; Bansal Mohit; Dreyer Markus

プレプリント

J-GLOBAL ID：202202218228742848 整理番号：22P0344315

意見要約のための効率的な少数ショット微調整【JST・京大機械翻訳】

Efficient Few-Shot Fine-Tuning for Opinion Summarization

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年05月04日プレプリントサーバーでの情報更新日： 2022年05月08日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

抽象的要約モデルは,通常,大量の一般的テキストで事前訓練され,次に,数十または数百の注釈付きサンプルで微調整される。しかしながら,意見要約において,参照要約と対になったレビューの大規模注釈データセットは利用可能ではなく,創造するのに高価である。これは,小データセットのオーバーフィッティングにロバストな微調整法を必要とする。さらに,一般的に事前訓練されたモデルは,顧客レビューの仕様に,また,微調整後には,非フルレンシーと意味誤りを伴う歩留まりの要約である。これらの問題に取り組むために,著者らは,著者らが示すように,ドメイン内知識を容易に保存できるアダプタに基づく効率的少数ショット法を利用した。全体のモデルを微調整する代わりに,擬似要約として開催レビューを用いて,非注釈付き顧客レビューの大規模コーパスに関するタスク特異的方法でアダプターとプレトレインを付加した。次に,小さな利用可能な人間注釈データセットにアダプタを微調整した。著者らは,この自己監督アダプタプレトレーニングが,アマゾンとYelpデータセットのそれぞれ2.0と1.3ROUGE-Lポイントによる標準微調整の要約品質を改善することを示した。最後に,要約個人化のために,著者らは,一般的データセットから自動的に作り出されるアスペクトキーワードクエリに関して条件付けした。同じ静脈において,著者らは,顧客レビューに関して質問ベースの方法でアダプタをプレトレインして,次に注釈付きデータセットに関してそれらを微調整した。これは,改善されたコヒーレンスとより少ない冗長性に反映されるより良い組織化された要約内容をもたらした。【JST・京大機械翻訳】

, , , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

医用情報処理 , 人工知能

, ,

前のページに戻る