推論における動的ネットワーク適応【JST・京大機械翻訳】

Mendoza Daniel; Trippel Caroline

プレプリント

J-GLOBAL ID：202202209635405830 整理番号：22P0333688

推論における動的ネットワーク適応【JST・京大機械翻訳】

Dynamic Network Adaptation at Inference

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年04月18日プレプリントサーバーでの情報更新日： 2022年04月18日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

機械学習(ML)推論は,待ち時間と精度目標を含む厳密なサービスレベル目標(SLO)に従わなければならないリアルタイム作業負荷である。残念なことに,SLOが推論-保存システムにおいては侵害されないことを確実にすることは,固有のモデル精度-待ち時間トレードオフ,SLO多様性,および応用領域内,SLOの多様性,時間にわたるSLOの進化,予測不能なクエリパターン,および共位置干渉により困難である。本論文では,ニューラルネットワークが推論中に高い入力活性化スパース性を示すことを観察した。.そこで,ノード毎のクエリを動的にドロップアウトするSLO-Awareニューラルネットワークを提案し,それにより,特定のSLO最適化ターゲットとマシン利用に従って実行した計算量を調整した。SLO-Awareニューラルネットワークは,精度損失(0.3%以下)に対して,1.3-56.7×の平均高速化を達成した。精度が制約されたとき,SLO-Awareニューラルネットワークは,同じ訓練されたモデルで低待ち時間で一連の精度目標を果たすことができる。待ち時間が制約された場合,SLO-Awareニューラルネットワークは,待ち時間制約を満たす高精度を維持しながら,共位置干渉から待ち時間劣化を積極的に軽減できる。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能 , 計算理論

, ,

前のページに戻る