教師に全て:教師に近接するゼロショット量子化【JST・京大機械翻訳】

Choi Kanghyun; Lee Hye Yoon; Hong Deokki; Yu Joonsang; Park Noseong; Kim Youngsok; Lee Jinho

プレプリント

J-GLOBAL ID：202202208409221747 整理番号：22P0323229

教師に全て:教師に近接するゼロショット量子化【JST・京大機械翻訳】

It's All In the Teacher: Zero-Shot Quantization Brought Closer to the Teacher

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年03月31日プレプリントサーバーでの情報更新日： 2022年04月01日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

モデル量子化は,深いニューラルネットワークの資源要求を大いに減らす有望な方法であると考えられる。量子化誤差によって誘発される性能低下を扱うために,一般的方法は,量子化ネットワークを微調整するために訓練データを使用することである。しかし,実世界環境において,そのような方法は,訓練データがセキュリティ,プライバシーまたは機密性懸念のために利用できないため,しばしば実行不可能であった。ゼロショット量子化は,通常,量子化ネットワークの性能低下を補償するために,完全精密教師ネットワークの重みから情報を取ることにより,そのような問題を扱う。本論文では,まず最先端のゼロショット量子化技法の損失表面を解析し,いくつかの知見を提供した。通常の知識蒸留問題とは対照的に,ゼロショット量子化は,1)多重損失項を一緒に最適化する困難さ,2)合成サンプルの使用による貧弱な一般化能力に悩まされる。さらに,多くの重みは,より良い性能のために,それを行う必要がある場合でも,量子化ネットワークを訓練する際に,丸め閾値を交差できないことを観測した。観測に基づき,AIT,ゼロショット量子化のための単純だが強力な技術,すなわち,AITi)は,交差エントロピー損失なしでのみKL距離損失を使用する,そしてii)は,丸め閾値を交差した後に,重みの特定の部分が適切に更新されることを保証するために,勾配を操作する。実験は,AITが,フィールドにおける全体の最先端の位置にわたって,大きなマージンによって多くの既存の方法の性能を上回ることを示した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能 , パターン認識

, ,

前のページに戻る