視覚変圧器のためのパッチ類似性を意識したデータフリー量子化【JST・京大機械翻訳】

Li Zhikai; Ma Liping; Chen Mengjuan; Xiao Junrui; Gu Qingyi

プレプリント

J-GLOBAL ID：202202205341907832 整理番号：22P0298900

視覚変圧器のためのパッチ類似性を意識したデータフリー量子化【JST・京大機械翻訳】

Patch Similarity Aware Data-Free Quantization for Vision Transformers

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年03月04日プレプリントサーバーでの情報更新日： 2023年01月05日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

ビジョン変圧器は,最近,様々なコンピュータビジョンタスクで大きな成功を得ている。それにもかかわらず,それらの高いモデル複雑性は,資源制約デバイスに展開するのを困難にする。量子化は,モデルの複雑さを低減するための効果的なアプローチであり,データフリー量子化は,モデル展開中のデータプライバシーとセキュリティの懸念に対処することができ,広く興味を浴びている。残念なことに,BN正則化のようなすべての既存の方法は,畳み込みニューラルネットワークのために設計され,著しく異なるモデルアーキテクチャを有する視覚変圧器に適用できない。本論文では,量子化パラメータを較正するための視覚変圧器のユニークな特性に基づく「現実的」サンプルの生成を可能にするために,Vision変換機のためのPatch類似性アウェアデータフリー量子化フレームワークであるPSAQ-ViTを提案した。特に,自己注意モジュールの性質を解析し,Gauss雑音と実画像の処理における一般的差異(パッチ類似性)を明らかにした。上記の洞察は,実際の画像を近似するためにGauss雑音を最適化するための相対値計量を設計し,次に量子化パラメータを較正するために利用した。PSAQ-ViTの有効性を検証するために,広範な実験とアブレーション研究を,実際のデータ駆動法よりも性能の高いPSAQ-ViTの有効性を検証するために行った。コードはhttps://github.com/zkkli/PSAQ ViTで利用可能である。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

図形・画像処理一般 , ニューロコンピュータ

, , , , ,

前のページに戻る