大規模ニューラルネットワーク訓練に関する調査【JST・京大機械翻訳】

Gusak Julia; Cherniuk Daria; Shilova Alena; Katrutsa Alexander; Bershatsky Daniel; Zhao Xunyi; Eyraud-Dubois Lionel; Shlyazhko Oleg; Dimitrov Denis; Oseledets Ivan; Beaumont Olivier

プレプリント

J-GLOBAL ID：202202207132923009 整理番号：22P0293047

大規模ニューラルネットワーク訓練に関する調査【JST・京大機械翻訳】

Survey on Large Scale Neural Network Training

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (11件)： , , , , , , , , , ,
資料名：
発行年： 2022年02月21日プレプリントサーバーでの情報更新日： 2022年02月21日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

現代の深層ニューラルネットワーク(DNN)は,訓練中の重み,活性化,および他の中間テンソルを記憶するために,重要な記憶を必要とする。したがって,多くのモデルは1つのGPU装置に適合しないか,または小さなGPUバッチサイズだけを用いて訓練できる。この調査は,より効率的なDNN訓練を可能にするアプローチの系統的概観を提供する。メモリを節約し,単一または複数のGPUを持つアーキテクチャ上で計算および通信リソースの良好な利用を行う技術を解析した。戦略の主なカテゴリーをまとめ,カテゴリー内およびカテゴリー間の戦略を比較した。文献で提案されたアプローチとともに,利用可能な実装を論じた。【JST・京大機械翻訳】

, , , , ,
, 【Automatic Indexing@JST】

パターン認識

, , ,

前のページに戻る