私の訓練はどこにあるか?深層学習前処理パイプラインにおける隠されたトレードオフ【JST・京大機械翻訳】

Isenko Alexander; Mayer Ruben; Jedele Jeffrey; Jacobsen Hans-Arno

プレプリント

J-GLOBAL ID：202202218573543963 整理番号：22P0291291

私の訓練はどこにあるか?深層学習前処理パイプラインにおける隠されたトレードオフ【JST・京大機械翻訳】

Where Is My Training Bottleneck? Hidden Trade-Offs in Deep Learning Preprocessing Pipelines

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年02月17日プレプリントサーバーでの情報更新日： 2022年03月25日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

深層学習における前処理パイプラインは,訓練プロセスバスを保つために十分なデータスループットを提供することを目的とする。資源利用の最大化は,訓練プロセスのスループットがハードウェア革新(例えば,より速いGPUs,TPU,および相互接続間)と,より良いスケーラビリティをもたらす高度な並列化技法によって増加するので,より挑戦的になっている。同時に,ますます複雑なモデルを訓練するために必要な訓練データの量は成長している。この開発の結果として,データ前処理と準備はエンドツーエンド深層学習パイプラインの厳しいボトルネックになっている。本論文では,4つの異なる機械学習ドメインからのデータ前処理パイプラインの詳細な解析を提供した。エンドツーエンド深層学習パイプラインのためのデータセットを効率的に準備し,個々のトレードオフを抽出し,スループット,前処理時間,および貯蔵消費を最適化した。さらに,スループットを最大化するための適切な前処理戦略を自動的に決定することができるオープンソースプロファイリングライブラリを提供した。実世界利用ケースに生成した洞察を適用することにより,パイプラインを機能的に同一に保ちながら,非同調システムと比較して3xから13xのスループット増加を得た。これらの知見は,データパイプライン調整の巨大な可能性を示した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能

, , , ,

前のページに戻る