文献

J-GLOBAL ID：202102233852757920   整理番号：21A1206598

サービスとしての深層学習推論のための効率的アーキテクチャパラダイム【JST・京大機械翻訳】

Efficient Architecture Paradigm for Deep Learning Inference as a Service

著者 (4件)： Yu Jin (Nanjing University,State Key Laboratory for Novel Software Technology,China) ,  Ke Xiaopeng (Nanjing University,State Key Laboratory for Novel Software Technology,China) ,  Xu Fengyuan (Nanjing University,State Key Laboratory for Novel Software Technology,China) ,  Huang Hao (Nanjing University,State Key Laboratory for Novel Software Technology,China)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2020  号： IPCCC  ページ： 1-8  発行年： 2020年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 深層学習(DL)推論は広く使われており,多くのインテリジェントアプリケーションにおいて優れた性能を示した。残念なことに,洗練されたモデルの高い資源消費と訓練努力は,それを楽しむための規則的なユーザに対する障害を提示する。したがって,クラウド上でオンライン推論サービスを提供するサービス(DIaaS)としての深層学習推論は,内部ネットワークを通してRPCを介してそれらのDIaaS入力を送ることができるクラウドテナントの間で大きな人気を持っている。しかしながら,DIaaSの高次元入力は,多くの貴重な内部帯域幅を消費し,DIaaSのサービス待ち時間は,低く,安定しているので,そのような分離アーキテクチャパラダイムは,DIaaSに不適当である。したがって,セキュリティと保全利益を与えられずに,上記の2つの問題に取り組むために,DIaaSのためのクラウドに関する新しいアーキテクチャパラダイムを提案する。最初に,強力な保護されたユーザ空間エンクラブであるSGX技術を利用して,DIaaS計算をできるだけ近く,即ち,同じ仮想マシンにおけるクラウドテナントとその加入DIaaSを共置する。GPU加速が必要なとき,この仮想マシンを任意の利用可能なGPUホストに移動させ,その上にインストールされたバックエンドコンピューティングスタックを介してGPUを透明に利用する。このようにして,内部帯域幅の大部分は従来のパラダイムと比較して節約される。さらに,計算およびI/Oの観点から提案したアーキテクチャパラダイムの効率を大幅に改善し,全体のデータフローをよりDL指向にした。最後に,プロトタイプシステムを実装し,実世界シナリオでそれを評価した。実験は,著者らの局所意識アーキテクチャが,平均単一CPU(GPU)ベースの深層学習推論時間2.84X(4.87X)を,平均で従来の分離アーキテクチャより少ないことを示した。Copyright 2021 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： ネットワーク ,  保全 ,  応用プログラム ,  帯域幅 ,  待ち時間 ,  仮想機械システム ,  高次元 ,  *計算機アーキテクチャ ,  セキュリティ ,  プロトタイプ
準シソーラス用語： テナント ,  バックエンド ,  オンライン ,  データフロー ,  *深層学習 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (5件)： サービス ,  深層学習 ,  推論 ,  アーキテクチャ ,  パラダイム