DQ-BART:結合蒸留と量子化による効率的なシーケンス-シーケンスモデル【JST・京大機械翻訳】

Li Zheng; Wang Zijian; Tan Ming; Nallapati Ramesh; Bhatia Parminder; Arnold Andrew; Xiang Bing; Roth Dan

プレプリント

J-GLOBAL ID：202202212703746928 整理番号：22P0307889

DQ-BART:結合蒸留と量子化による効率的なシーケンス-シーケンスモデル【JST・京大機械翻訳】

DQ-BART: Efficient Sequence-to-Sequence Model via Joint Distillation and Quantization

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2022年03月21日プレプリントサーバーでの情報更新日： 2022年03月21日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

BARTとT5のような大規模事前訓練シーケンス-シーケンスモデルは,多くの生成NLPタスクに関して最先端の性能を達成する。しかし,そのようなモデルは,それらの大きなメモリ要求と高い待ち時間のために,資源制約シナリオにおいて大きな課題を提起する。この問題を軽減するために,著者らは,知識が完全精度の教師モデルから量子化および蒸留された低精度の学生モデルに転送される,モデルを共同蒸留し,量子化することを提案する。経験的解析は,生成タスクの挑戦的な性質にもかかわらず,多重要約とQAデータセットに関する全精度対応物と比較して,性能低下がほとんどない16.5xモデルフットプリント圧縮比を達成できることを示した。さらに,圧縮比の限界を27.7xに押し付け,事前訓練モデルを用いた生成タスクに対する性能効率トレードオフを示した。知る限りでは,これは言語生成タスクのためのシーケンスツーシーケンス事前訓練モデルを効果的に蒸留し,量子化することを目指した最初の研究である。【JST・京大機械翻訳】

, , , , , , ,
, , , , 【Automatic Indexing@JST】

パターン認識

, , , ,

前のページに戻る