文献

J-GLOBAL ID：202102257732661841   整理番号：21A1956456

GPU上の深さ方向分離可能畳込み演算の最適化【JST・京大機械翻訳】

Optimizing Depthwise Separable Convolution Operations on GPUs

著者 (3件)： Lu Gangzhao (School of Cyberspace Science, Harbin Institute of Technology, Harbin, China) ,  Zhang Weizhe (School of Cyberspace Science, Harbin Institute of Technology, Harbin, China) ,  Wang Zheng (School of Computing, University of Leeds, Leeds, U.K.)
資料名： IEEE Transactions on Parallel and Distributed Systems  (IEEE Transactions on Parallel and Distributed Systems)
巻： 33  号： 1  ページ： 70-87  発行年： 2022年 
JST資料番号： T0882A  ISSN： 1045-9219  CODEN： ITDSEO  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 深さ方向分離可能畳込みは畳み込みニューラルネットワーク(CNNs)で一般に見られ,標準マルチチャネル2D畳込みの計算オーバヘッドを減らすために広く使われている。深さ方向分離可能畳込みの既存の実装は,一度に処理される多数のサンプルで大きなバッチサイズを有するモデル訓練を加速させる。そのようなアプローチは,小バッチサイズのモデル訓練と,モデル推論の典型的なシナリオには不十分であり,そこでは,モデルが,一度に,いくつかのサンプルに取り込まれる。本論文は,GPUアーキテクチャを目標とすることによって,深さ方向分離可能畳込みの最適化のギャップを埋めることを目指した。2D畳込みの幅と高さ次元に関して実行したメモリ演算の数を減らすために,畳込み操作のカラムと列再利用を改善するために,2つの新しいアルゴリズムを設計することによってこれを達成した。本アプローチは,GPU利用を改善し,メモリアクセス待ち時間を隠すために,GPUスレッドを通して計算データを適応的に分配するために動的タイルサイズ方式を採用した。2つのGPUプラットフォーム,すなわちNVIDIA RTX 2080Ti GPUと埋込みNVIDIA Jetson AGX Xavier GPU,および2つのデータタイプ:32ビット浮動点(FP32)と8ビット整数(INT8),を適用した。ここでは,NVIDIA GPUアーキテクチャに対して非常に調整されたcuDNNに対するアプローチを比較した。実験結果は,著者らのアプローチが,cuDNN上で2×2(最大3×3)性能改善を凌駕することを示した。中程度のバッチサイズを用いるとき,提案アプローチは,それぞれ,MobileNetと効率的Netのエンドツーエンド訓練時間を9.7と7.3パーセント削減し,モバイルネットと効率的Netのエンドツーエンド推論時間を,それぞれ12.2と11.6%低減することを示した。Copyright 2021 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アルゴリズム ,  記憶装置 ,  *最適化 ,  *畳込み ,  *演算 ,  エンドツーエンド方式 ,  二次元 ,  待ち時間 ,  データ型 ,  計算機アーキテクチャ ,  携帯電話 ,  スレッド
準シソーラス用語： メモリアクセス ,  オーバヘッド ,  畳込みニューラルネットワーク , 【Automatic Indexing@JST】

分類 (1件)： パターン認識  (JE07000S)

タイトルに関連する用語 (4件)： GPU ,  深さ方向 ,  畳込み ,  最適化