抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
モデル量子化は,深いニューラルネットワークの資源要求を大いに減らす有望な方法であると考えられる。量子化誤差によって誘発される性能低下を扱うために,一般的方法は,量子化ネットワークを微調整するために訓練データを使用することである。しかし,実世界環境において,そのような方法は,訓練データがセキュリティ,プライバシーまたは機密性懸念のために利用できないため,しばしば実行不可能であった。ゼロショット量子化は,通常,量子化ネットワークの性能低下を補償するために,完全精密教師ネットワークの重みから情報を取ることにより,そのような問題を扱う。本論文では,まず最先端のゼロショット量子化技法の損失表面を解析し,いくつかの知見を提供した。通常の知識蒸留問題とは対照的に,ゼロショット量子化は,1)多重損失項を一緒に最適化する困難さ,2)合成サンプルの使用による貧弱な一般化能力に悩まされる。さらに,多くの重みは,より良い性能のために,それを行う必要がある場合でも,量子化ネットワークを訓練する際に,丸め閾値を交差できないことを観測した。観測に基づき,AIT,ゼロショット量子化のための単純だが強力な技術,すなわち,AITi)は,交差エントロピー損失なしでのみKL距離損失を使用する,そしてii)は,丸め閾値を交差した後に,重みの特定の部分が適切に更新されることを保証するために,勾配を操作する。実験は,AITが,フィールドにおける全体の最先端の位置にわたって,大きなマージンによって多くの既存の方法の性能を上回ることを示した。【JST・京大機械翻訳】