チェックポイントの効率的な構築について【JST・京大機械翻訳】

Chen Yu; Liu Zhenming; Ren Bin; Jin Xin

プレプリント

J-GLOBAL ID：202202207150249188 整理番号：22P0194841

チェックポイントの効率的な構築について【JST・京大機械翻訳】

On Efficient Constructions of Checkpoints

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2020年09月27日プレプリントサーバーでの情報更新日： 2020年09月27日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

チェックポイント/スナップショットの効率的構築は,深層学習モデルを訓練し診断するための重要なツールである。本論文では,チェックポイント構築(LC-チェックポイントと呼ぶ)のための損失圧縮方式を提案した。LC-チェックポイントは圧縮速度を同時に最大化し,SGDを用いてモデルを訓練するという仮定の下で回復速度を最適化した。LC-Checkpoints量子化と優先促進は,SGDに対する最も重要な情報を保存し,次に,Huffman符号化を用いて,勾配スケールの不均一分布を利用する。著者らの広範な実験は,LC-チェックポイントが,最先端のアルゴリズム(SCAR)上で,最大28×の圧縮速度と5.77×までの回復高速化を達成することを示した。【JST・京大機械翻訳】

, , , ,
, , , , , 【Automatic Indexing@JST】

その他のディジタル計算機方式 , ディジタル計算機方式一般 , 専用演算制御装置

前のページに戻る