信頼できる展開のための量子化モデルの振舞いのキャラクタリゼーションと理解【JST・京大機械翻訳】

Hu Qiang; Guo Yuejun; Cordy Maxime; Xie Xiaofei; Ma Wei; Papadakis Mike; Traon Yves Le

プレプリント

J-GLOBAL ID：202202218698874350 整理番号：22P0328642

信頼できる展開のための量子化モデルの振舞いのキャラクタリゼーションと理解【JST・京大機械翻訳】

Characterizing and Understanding the Behavior of Quantized Models for Reliable Deployment

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年04月08日プレプリントサーバーでの情報更新日： 2022年04月08日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

深層ニューラルネットワーク(DNN)は,自然言語モデリング,自己駆動支援,およびソースコード理解のような,異なるアプリケーションでのそれらの驚くべき性能のため,過去数十年でかなりの注目を集めている。迅速探査により,巨大な事前訓練モデルパラメータとともに,ますます複雑なDNNアーキテクチャを提案した。ユーザフレンドリーなデバイス(例えば携帯電話)におけるそのようなDNNモデルを使用する一般的な方法は,展開前にモデル圧縮を行うことである。しかし,最近の研究では,モデル圧縮,例えば,モデル量子化,精度劣化,および出力不一致が,非意味データでテストされたとき,出力不一致を,実証している。独立データが常に分布シフトを含み,しばしば野生で現れるので,量子化モデルの品質と信頼性は保証されない。本論文では,ユーザが量子化モデルの行動を理解する上で,包括的研究を行う。本研究では,画像からテキストまでの4つのデータセット,フィードフォワードニューラルネットワークと再帰ニューラルネットワークを含む8つのDNNアーキテクチャ,および合成と自然分布シフトの両方を有する42のシフト集合を考察した。結果は,1)分布シフトによるデータが,非存在よりも多くの不一致を引き起こすことを明らかにした。2)量子化意識訓練は,標準,敵対,およびMixup訓練より,より安定したモデルを作り出すことができる。3)不一致は,しばしば,より近いトップ-1とトップ-2出力確率を持っていて,Marginは,不一致を区別するために,他の不確実性計量より良い指標であった。4)不一致による再訓練は,不一致の除去に限られた効率を持つ。量子化モデルをさらに研究するための新しいベンチマークとして,著者らのコードとモデルを公開した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

パターン認識 , 人工知能

, , , , , ,

前のページに戻る