文献

J-GLOBAL ID：202002243177635438   整理番号：20A2463025

予測サービスパイプラインのためのインライン待ち時間を意識したプロビジョニングとスケーリング【JST・京大機械翻訳】

InferLine latency-aware provisioning and scaling for prediction serving pipelines

著者 (7件)： Crankshaw Daniel (Microsoft Research) ,  Sela Gur-Eyal (UC Berkeley) ,  Mo Xiangxi (UC Berkeley, Anyscale) ,  Zumar Corey (Databricks) ,  Stoica Ion (UC Berkeley, Anyscale) ,  Gonzalez Joseph (UC Berkeley) ,  Tumanov Alexey (Georgia Tech)
資料名： ACM Proceedings  (ACM Proceedings)
号： SoCC ’20  ページ： 477-491  発行年： 2020年 
JST資料番号： D0698C  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 多重モデルとハードウェアアクセラレータをスパニングするML予測パイプラインは,生産機械学習における重要課題である。厳しいエンドツーエンド待ち時間目標を満たすこれらのパイプラインの最適構成は,モデルバッチサイズ,ハードウェアアクセラレータの選択,およびクエリ到着プロセスの変化間の相互作用によって複雑である。本論文では,予測パイプラインの個々の段階を準備し管理するシステムであるInferLineを導入し,コストを最小にしながらエンドツーエンドのテール待ち時間制約を満たす。インファーラインは低周波コンビナトリアルプランナーと高周波自動スケーリング調整器から成る。低周波プランナーは,パイプラインにおける各ステージのハードウェアタイプ,複製,およびバッチパラメータを自動的に選択するために,段階的プロファイリング,離散事象シミュレーション,および制約付きコンビナトリアル探索を利用した。高周波調整器は,ネットワーク計算を用いて,クエリ到着プロセスの変化に応じて,各ステージを自動スケールに自己スケールする。著者らは,InferLineが,現実的な作業負荷で34.5x低い待ち時間SLOミスレートを達成し,最先端のモデルサービスフレームワークを一般化する間,コストで7.6xまで既存のアプローチより優れていることを実証した。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 相互作用 ,  学習 ,  ネットワーク ,  複製 ,  HF【周波数】 ,  エンドツーエンド方式 ,  ハードウェア ,  LF【周波数】 ,  *待ち時間 ,  機械学習 ,  離散事象シミュレーション
準シソーラス用語： クエリー ,  プランナ ,  *プロビジョニング ,  ハードウェアアクセラレータ , 【Automatic Indexing@JST】

著者キーワード (4件)： 自動スケーリング ,  推論 ,  機械学習 ,  サービス

分類 (1件)： 計算機網  (JC03000K)

タイトルに関連する用語 (7件)： 予測 ,  サービス ,  パイプライン ,  インライン ,  待ち時間 ,  意識 ,  スケーリング