QDrop:極端に低ビットのポストトレーニング量子化のためのランダム落下量子化【JST・京大機械翻訳】

Wei Xiuying; Gong Ruihao; Li Yuhang; Liu Xianglong; Yu Fengwei

プレプリント

J-GLOBAL ID：202202211733316840 整理番号：22P0302390

QDrop:極端に低ビットのポストトレーニング量子化のためのランダム落下量子化【JST・京大機械翻訳】

QDrop: Randomly Dropping Quantization for Extremely Low-bit Post-Training Quantization

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月10日プレプリントサーバーでの情報更新日： 2023年02月21日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

最近,訓練後量子化(PTQ)は,長時間再訓練なしで効率的なニューラルネットワークを生成する多くの注目を集めている。その低コストにもかかわらず,現在のPTQは極めて低いビット設定の下で失敗する傾向がある。本研究では,PTQ再構成に活性化量子化を適切に組み入れることが最終精度に利益を与えることを確認した。固有の理由を深く理解するために,理論的枠組みを確立し,キャリブレーションと試験データに関する最適化低ビットモデルの平坦性が重要であることを示した。この結論に基づき,QDROPとして,単純だが効果的なアプローチを提案し,PTQ中の活性化の量子化をランダムに低下させた。コンピュータビジョン(画像分類,物体検出)および自然言語処理(テキスト分類および質問回答)を含む様々なタスクに関する広範な実験は,その優位性を証明した。QDROPにより,PTQの限界は,初めて2ビット活性化に押し込まれ,そして,精度ブーストは,51.49%に達することができた。ベルと whistのない場合,QDROPはPTQの最新技術を確立した。著者らのコードはhttps://github.com/wimh966/QDropで利用可能であり,MQBench(https://github.com/ModelTC/MQBench)に統合されている。【JST・京大機械翻訳】

, , , , , , , ,
, , , , 【Automatic Indexing@JST】

パターン認識 , 符号理論

, , ,

前のページに戻る