文献

J-GLOBAL ID：201802248736694119   整理番号：18A0942075

Stalelearn PIM上のモデル複製間の非同期化による学習加速【JST・京大機械翻訳】

StaleLearn: Learning Acceleration with Asynchronous Synchronization Between Model Replicas on PIM

著者 (2件)： Lee Joo Hwan (Samsung Semiconductor, Inc., San Jose, CA) ,  Kim Hyesoon (School of Computer Science, Georgia Institute of Technology, Atlanta, GA)
資料名： IEEE Transactions on Computers  (IEEE Transactions on Computers)
巻： 67  号： 6  ページ： 861-873  発行年： 2018年 
JST資料番号： C0233A  ISSN： 0018-9340  CODEN： ICTOB4  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： GPUは,学習において見出される大量の並列性により一般的になった。GPUは多くの学習タスクに対して有効であるが,まだ多くのGPU学習アプリケーションはスパースデータにより低い実行効率を持っている。スパースデータは,低い局所性を有する発散メモリアクセスを誘導し,それにより,メモリ階層にわたるデータ転送データの大きな割合を消費する。メモリ発散を低減するためにかなりの努力が払われているが,反復収束学習は最新のGPUにおいて完全な可能性を達成するためのユニークな機会を提供し,それは異なるスレッドがステール値を用いて計算を続けることを可能にする。本論文では,反復収束学習のステール値耐性を利用することにより,GPU学習のメモリ発散オーバヘッドを低減する学習加速機構,Stalearenを提案した。ステール値耐性に基づいて,StaleLearnは,モデルを複製することによって,同期化問題への発散メモリアクセスの問題を変換し,プロセッサ-メモリ(PIM)上の非同期によって同期オーバーヘッドを減少させる。stale値公差はGPUとPIMの間の明確なタスク分解を可能にし,それはPIMとGPUの間の並列性を効果的に利用することができる。平均的に,著者らのアプローチは,既存のPIM提案により,代表的なGPU学習アプリケーションを3.17倍加速する。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【JST・京大機械翻訳】

シソーラス用語： *複製 ,  *学習 ,  局所性 ,  記憶装置 ,  公差 ,  応用プログラム ,  データ転送 ,  演算プロセッサ ,  スレッド ,  記憶階層
準シソーラス用語： オーバヘッド ,  メモリアクセス , 【Automatic Indexing@JST】

分類 (2件)： 専用演算制御装置  (JC04030Y) ,  図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (6件)： PIM ,  モデル ,  複製 ,  非同期 ,  学習 ,  加速