DropIT:メモリ効率の良いDNNトレーニングのための中間テンソルの落下【JST・京大機械翻訳】

Chen Joya; Xu Kai; Wang Yuhui; Cheng Yifei; Yao Angela

プレプリント

J-GLOBAL ID：202202213714092403 整理番号：22P0296420

DropIT:メモリ効率の良いDNNトレーニングのための中間テンソルの落下【JST・京大機械翻訳】

DropIT: Dropping Intermediate Tensors for Memory-Efficient DNN Training

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年02月28日プレプリントサーバーでの情報更新日： 2023年03月02日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

深層ニューラルネットワークを訓練するときの標準ハードウェアボトルネックはGPUメモリである。メモリのバルクは,後方パスにおける勾配計算のための中間テンソルのキャッシングによって占有される。著者らは,このフットプリント-Droping Intermed Tensor(DropIT)を低減するための新しい方法を提案した。DropITは,中間テンソルのmin-k要素を落下し,後方パスにおけるスパーステンソルから勾配を近似する。理論的には,DropITは推定勾配の雑音を低減し,従って,vanilla-SGDよりも高い収束速度を持つ。実験により,著者らは,完全接続および畳込み層における中間テンソル要素の90%まで低下でき,一方,様々なタスク(例えば,分類,物体検出,インスタンスセグメンテーション)において,Visual変換および畳込みニューラルネットワークに対してより高い試験精度を達成した。著者らのコードとモデルはhttps://github.com/chenjoya/dropitで利用可能である。【JST・京大機械翻訳】

, , , , , ,
, , , , , , , 【Automatic Indexing@JST】

波動方程式の解法,散乱理論 , パターン認識

, , ,

前のページに戻る