RecShard:産業規模ニューラル推薦のための統計的特徴ベースメモリ最適化【JST・京大機械翻訳】

Sethi Geet; Acun Bilge; Agarwal Niket; Kozyrakis Christos; Trippel Caroline; Wu Carole-Jean

プレプリント

J-GLOBAL ID：202202201516287675 整理番号：22P0279255

RecShard:産業規模ニューラル推薦のための統計的特徴ベースメモリ最適化【JST・京大機械翻訳】

RecShard: Statistical Feature-Based Memory Optimization for Industry-Scale Neural Recommendation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年01月24日プレプリントサーバーでの情報更新日： 2022年01月24日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

深い学習推薦モデル(DLRM)のために,RecSard,細粒埋込みテーブル(EMB)分割および配置技術を提案した。RecSardを2つの重要な観察に基づいて設計した。最初に,すべてのEMBは等しくなく,EMB内のすべての列はアクセスパターンに関して等しい。EMBは,明確なメモリ特性を示し,知的EMB分割とタイドメモリ階層にわたる配置のための性能最適化機会を提供する。第二に,現代のDLRMにおいて,EMBはハッシュテーブルとして機能する。結果として,EMBは,誕生日パラドックスのような興味深い現象を示し,EMBsを激しく利用し,未利用である。RecSardは,訓練データ分布とモデル特性に基づく一連のEMBsに対する最適EMBスハード戦略を決定し,その根底にあるタイドメモリ階層の帯域幅特性も決定した。そうすることで,RecSardは,容量制約DLRMに対して平均で6倍以上高いEMB訓練スループットを達成した。スループット増加は12倍以上の改善されたEMB負荷バランスと87倍以上の遅いメモリへの減少したアクセスから来る。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

半導体集積回路 , 計算機システム開発 , システムプログラミング一般

, , , ,

前のページに戻る