抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
深層ニューラルネットワーク(DNN)は,自然言語モデリング,自己駆動支援,およびソースコード理解のような,異なるアプリケーションでのそれらの驚くべき性能のため,過去数十年でかなりの注目を集めている。迅速探査により,巨大な事前訓練モデルパラメータとともに,ますます複雑なDNNアーキテクチャを提案した。ユーザフレンドリーなデバイス(例えば携帯電話)におけるそのようなDNNモデルを使用する一般的な方法は,展開前にモデル圧縮を行うことである。しかし,最近の研究では,モデル圧縮,例えば,モデル量子化,精度劣化,および出力不一致が,非意味データでテストされたとき,出力不一致を,実証している。独立データが常に分布シフトを含み,しばしば野生で現れるので,量子化モデルの品質と信頼性は保証されない。本論文では,ユーザが量子化モデルの行動を理解する上で,包括的研究を行う。本研究では,画像からテキストまでの4つのデータセット,フィードフォワードニューラルネットワークと再帰ニューラルネットワークを含む8つのDNNアーキテクチャ,および合成と自然分布シフトの両方を有する42のシフト集合を考察した。結果は,1)分布シフトによるデータが,非存在よりも多くの不一致を引き起こすことを明らかにした。2)量子化意識訓練は,標準,敵対,およびMixup訓練より,より安定したモデルを作り出すことができる。3)不一致は,しばしば,より近いトップ-1とトップ-2出力確率を持っていて,Marginは,不一致を区別するために,他の不確実性計量より良い指標であった。4)不一致による再訓練は,不一致の除去に限られた効率を持つ。量子化モデルをさらに研究するための新しいベンチマークとして,著者らのコードとモデルを公開した。【JST・京大機械翻訳】