Laggardデータパイプラインによる確率的最適化【JST・京大機械翻訳】

Agarwal Naman; Anil Rohan; Koren Tomer; Talwar Kunal; Zhang Cyril

プレプリント

J-GLOBAL ID：202202209746591960 整理番号：22P0204090

Laggardデータパイプラインによる確率的最適化【JST・京大機械翻訳】

Stochastic Optimization with Laggard Data Pipelines

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年10月26日プレプリントサーバーでの情報更新日： 2020年10月26日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

最先端の最適化は,極めて大きなバッチサイズを持つ大規模並列パイプラインに向けて着実にシフトしている。結果として,CPU結合前処理とディスク/メモリ/ネットワーク操作は,ハードウェア加速勾配計算とは対照的に,新しい性能ボトルネックとして浮上した。この状況において,最近提案されたアプローチは,データエコー(Choiら,2019)であり,同じバッチで反復勾配ステップを採り,一方,上流から到着する新鮮なデータを待つ。共通最適化法の「データエコー」拡張の最初の収束解析を提供し,それらが同期対応物に対して証明可能な改善を示すことを示した。特に,確率的ミニバッチによる凸最適化において,データエコーは収束速度の曲率支配部分に高速化を与えるが,最適統計的速度を維持することを示した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

人工知能 , 計算理論 , 図形・画像処理一般

前のページに戻る