VAQF:低ビットビジョン変圧器のための完全自動ソフトウェア-ハードウェア共設計フレームワーク【JST・京大機械翻訳】

Sun Mengshu; Ma Haoyu; Kang Guoliang; Jiang Yifan; Chen Tianlong; Ma Xiaolong; Wang Zhangyang; Wang Yanzhi

プレプリント

J-GLOBAL ID：202202215260207637 整理番号：22P0275778

VAQF:低ビットビジョン変圧器のための完全自動ソフトウェア-ハードウェア共設計フレームワーク【JST・京大機械翻訳】

VAQF: Fully Automatic Software-Hardware Co-Design Framework for Low-Bit Vision Transformer

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2022年01月17日プレプリントサーバーでの情報更新日： 2022年02月18日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

注意機構を有する変圧器アーキテクチャは,自然言語処理(NLP)において成功を得て,Vision変換機(ViT)は,最近,様々なビジョンタスクにアプリケーションドメインを拡張した。高性能を達成する一方で,Vitsは,エッジデバイスへのそれらの展開を妨げる大きなモデルサイズと高い計算複雑性に悩まされる。ハードウェア上で高スループットを達成し,同時にモデル精度を維持するため,VAQFを提案し,二値重みと低精度活性化を持つ量子化VITのためのFPGAプラットフォーム上に推論アクセラレータを構築するフレームワークを提案した。モデル構造と望ましいフレーム速度を考えると,VAQFは,ハードウェア要求を満足する加速器の最適化パラメータ設定と同様に,活性化のための必要な量子化精度を自動的に出力する。実装はXilinx ZCU102FPGAボード上のVivad High-Level合成(HLS)で開発し,DeiTベースモデルによる評価結果は,2秒当たり24フレーム(FPS)のフレームレート要求が8ビット活性化量子化で満足され,30FPSのターゲットが6ビット活性化量子化で満たされることを示した。知る限りでは,これは,ソフトウェア側の量子化戦略と,ターゲットフレームレートを与えるハードウェア側の加速器実装をガイドするための完全自動フレームワークの助けを借りて,FPGA上のViT加速に組み込まれた最初の時間量子化である。量子化訓練と比較して,非常に小さな編集時間コストが与えられ,生成された加速器はFPGA上の最先端のViTモデルの実時間実行を達成する能力を示した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , 【Automatic Indexing@JST】

図形・画像処理一般 , 専用演算制御装置

, , , , , ,

前のページに戻る