投機的復号化:Seq2seq生成の加速のための投機的実行の利用【JST・京大機械翻訳】

Xia Heming; Ge Tao; Wang Peiyi; Chen Si-Qing; Wei Furu; Sui Zhifang

プレプリント

J-GLOBAL ID：202202202502363901 整理番号：22P0322708

投機的復号化:Seq2seq生成の加速のための投機的実行の利用【JST・京大機械翻訳】

Speculative Decoding: Exploiting Speculative Execution for Accelerating Seq2seq Generation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年03月30日プレプリントサーバーでの情報更新日： 2023年10月29日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

著者らは,自己回帰(AR)復号化を加速するために,推測的実行のアイデアを利用する形式的研究に対して,初めて,推測的復号化(SpecDec)を提案した。推定復号化は,2つの革新,すなわち,効率的で正確なドラフトのために特に最適化される独立モデル,および復号パラダイムにおいて効率的にドラフトトークンを確かめるための信頼できる方法,の2つの革新がある。機械翻訳と抽象的要約を含む様々なseq2seqタスクに関する実験結果は,このアプローチがビーム探索復号化に匹敵する生成品質を有するポピュラーな変換器アーキテクチャに対して約5×高速化を達成することができ,ドラフト-認証パラダイムが1.4≦2×高速化だけを導入するという印象をリフレッシュする。顕著な高速化に加えて,SpecDecの3つの付加的利点も示し,実世界アプリケーションにおける生成モデルを加速するための実用的価値を明らかにした。著者らのモデルとコードはhttps://github.com/hemingkx/SpecDecで利用可能である。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

符号理論

, , ,

前のページに戻る