語義言語モデル:任意次数拡散LLMの族【JST機械翻訳】

Sahoo Subham Sekhar; Yang Zhihan; Akhauri Yash; Liu Johnna; Singh Deepansha; Cheng Zhoujun; Liu Zhengzhong; Xing Eric; Thickstun John; Vahdat Arash

プレプリント

J-GLOBAL ID：202502200721674423 整理番号：25P0144554

語義言語モデル:任意次数拡散LLMの族【JST機械翻訳】

Esoteric Language Models: A Family of Any-Order Diffusion LLMs

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
このテーマを更に深掘りする（JDreamⅢへ）

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

arXiv掲載論文の撤回有無については、一次情報をご確認下さい。

著者 (10件)： , , , , , , , , ,
資料名：
発行年： 2026年08月05日プレプリントサーバーでの情報更新日： 2026年08月06日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント言語：英語 (EN)

拡散ベースの言語モデルは,並列で制御可能な生成を可能にすることによって,自己回帰(AR)モデルへの説得力のある代替を提供する。このファミリーの中で,マスク付き拡散モデル(MDM)は,現在,最善であるが,まだパープレキシティで性能が劣るARモデルを実行し,鍵となる推論時間効率特徴,最も顕著なのはKVキャッシングを欠いている。筆者らは,ARとMDMパラダイムを融合し,それらのパープレキシティ間を円滑に補間し,一方それらのそれぞれの限界に打ち勝つ,モデルの新しいファミリーであるEso-LMを導入した。MDM雑音除去器として双方向注意を持つ変換器を用いた以前の研究とは異なり,MDMと任意次数自己回帰モデル間の関係を利用し,因果的注意を採用した。この設計により,MDMの正確な尤度を初めて計算し,決定的に,MDMに対するKVキャッシングの導入を可能にし,同時に,推論効率を大幅に改善した。最適化サンプリングスケジュールと組み合わせて,Eso-LMは無条件生成のための速度-品質パレートフロンティアに関する新しい最先端を確立した。筆者らはプロジェクトページ:https://s sahoo.com/Eso LMsに関するコード,モデルチェックポイント,及びビデオチュートリアルを提供した。【JST機械翻訳】

, , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能 , 自然語処理

, , ,

ライセンス情報：

前のページに戻る