文献

J-GLOBAL ID：202102251931803245   整理番号：21A1963164

深層学習モデルのためのリソース誘導配置空間縮小【JST・京大機械翻訳】

Resource-Guided Configuration Space Reduction for Deep Learning Models

著者 (5件)： Gao Yanjie (Microsoft Research, China) ,  Zhu Yonghao (Microsoft Research, China) ,  Zhang Hongyu (The University of Newcastle, Australia) ,  Lin Haoxiang (Microsoft Research, China) ,  Yang Mao (Microsoft Research, China)
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2021  号： icse  ページ： 175-187  発行年： 2021年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 従来のソフトウェアシステムのような深層学習モデルは多数の構成オプションを提供する。深層学習モデルは,異なるハイパーパラメータとニューラルアーキテクチャで構成できる。最近,自動ML(自動化マシン学習)は,多様な構成を系統的に探索することにより,モデル訓練を自動化するために広く採用されている。しかしながら,現在のAutoML手法は,利用可能なメモリ,デバイスの計算能力,または実行時間のような様々な資源によって課された計算制約を考慮していない。非コンフォーメーション構成による訓練は,多くの失敗したAutoML試験ジョブまたは不適当なモデルにつながり,それは,重要な資源廃棄物を引き起こし,そして,非常に遅い開発生産性をもたらした。本論文では,DnnSATを提案し,既存のAutoMLツールが時間前に構成空間を効率的に低減するための深層学習モデルのための資源誘導AutoMLアプローチを提案した。DnnSATは探索プロセスをスピードアップし,制約を満足しない試行ジョブを除外し,より多くの試行のために資源を節約するので,同等またはより良いモデル学習性能を達成する。制約充足問題として資源誘導構成空間削減を定式化した。DnnSATは,モデル重みサイズ,浮動小数点演算数,モデル推論時間,およびGPUメモリ消費に関して,共通制約を構築するために統一分析コストモデルを含む。次に,ハイパーパラメータおよびニューラルアーキテクチャの充足可能な構成を得るためにSMTソルバを利用した。この評価結果は,公開ベンチマーク上で1.19Xから3.95Xまでの平均高速化で,最先端のAutoML法(ハイパーパラメータ最適化とニューラルアーキテクチャ検索)の加速におけるDnnSATの有効性を実証した。DnnSATは,制約された資源を有する実世界環境において,AutoMLをより実用的にすることができると信じる。Copyright 2021 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 記憶装置 ,  最適化 ,  立体配座 ,  自動化 ,  *学習 ,  廃棄物 ,  浮動小数点演算 ,  高速化 ,  有効性 ,  定式化 ,  ベンチマーク ,  制約充足問題
準シソーラス用語： 実行時間 ,  ソルバ ,  *深層学習 , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (6件)： 深層学習 ,  モデル ,  リソース ,  誘導 ,  配置空間 ,  縮小