SummaReranker:抽象的要約のためのマルチタスク・ミックス・オブ・エキスパート・リランキング・フレームワーク【JST・京大機械翻訳】

Ravaut Mathieu; Joty Shafiq; Chen Nancy F.

プレプリント

J-GLOBAL ID：202202221095196790 整理番号：22P0303219

SummaReranker:抽象的要約のためのマルチタスク・ミックス・オブ・エキスパート・リランキング・フレームワーク【JST・京大機械翻訳】

SummaReranker: A Multi-Task Mixture-of-Experts Re-ranking Framework for Abstractive Summarization

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年03月13日プレプリントサーバーでの情報更新日： 2023年05月26日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

シーケンスツーシーケンスニューラルネットワークは,最近,抽象的要約において,特に,下流データセットに関する微調整大規模事前訓練言語モデルを通して,大きな成功を達成した。これらのモデルは,典型的な要約を生成するためにビーム探索で典型的に解読される。しかし,探索空間は非常に大きく,露光バイアスでそのような復号化は最適ではない。本論文では,一連の要約候補で再ランク付けを行う2段階モデルを直接訓練できることを示した。エキスパートSummaRankerは,より良い候補を選択し,ベースモデルの性能を一貫して改善するように学習する。ベースPEGASUSにより,ROUGEスコアをCNN-DailyMail(47.16ROUGE-1),XSum(48.12ROUGE-1)で1.31%,およびReddit TIFU(29.83ROUGE-1)で9.34%で,新しい最新技術に達した。著者らのコードとチェックポイントはhttps://github.com/ntunlp/SummaRerankerで利用可能である。【JST・京大機械翻訳】

, , , , , ,
, , , 【Automatic Indexing@JST】

自然語処理 , パターン認識 , 人工知能

前のページに戻る