文献

J-GLOBAL ID：202202258447631812   整理番号：22A0941984

効率的なニューラルネットワークのための微分可能なニューラルアーキテクチャ学習【JST・京大機械翻訳】

Differentiable neural architecture learning for efficient neural networks

著者 (5件)： Guo Qingbei (Jiangsu Provincial Engineering Laboratory of Pattern Recognition and Computational Intelligence, Jiangnan University, Wuxi 214122, China) ,  Guo Qingbei (Shandong Provincial Key Laboratory of Network based Intelligent Computing, University of Jinan, Jinan 250022, China) ,  Wu Xiao-Jun (Jiangsu Provincial Engineering Laboratory of Pattern Recognition and Computational Intelligence, Jiangnan University, Wuxi 214122, China) ,  Kittler Josef (Centre for Vision, Speech and Signal Processing, University of Surrey, Guildford GU2 7XH, UK) ,  Feng Zhiquan (Shandong Provincial Key Laboratory of Network based Intelligent Computing, University of Jinan, Jinan 250022, China)
資料名： Pattern Recognition  (Pattern Recognition)
巻： 126  ページ： Null  発行年： 2022年 
JST資料番号： D0611A  ISSN： 0031-3203  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： オランダ (NLD)  言語： 英語 (EN)

抄録/ポイント： 効率的なニューラルネットワークは畳み込みニューラルネットワーク(CNNs)の進化,特に組込みとモバイルプラットフォームへの展開を含む,ますます注目されてきた。そのような効率的なニューラルネットワークを得るための最大の問題の1つは効率であり,最近の微分可能ニューラルアーキテクチャ探索(DNAS)は,最適ニューラルアーキテクチャの選択のために少数の候補ニューラルアーキテクチャをサンプリングする必要がある。この計算効率問題に取り組むために,著者らは,スケールシグモイド関数に基づく新しいアーキテクチャパラメタリゼーションを導入し,候補ニューラルネットワークを評価する必要のない効率的なニューラルネットワークを得るための一般的微分可能ニューラルアーキテクチャ学習(DNAL)法を提案した。特に,従来のCNNと同様に確率的スーパーネットに対して,スケールシグモイド関数によって制御されたアーキテクチャコンポーネントを有する新しいチャネルワイズモジュール層を構築した。これらのニューラルネットワークモデルをスクラッチから訓練した。ネットワーク最適化を重み最適化とアーキテクチャ最適化に分離して,それは2つのタイプのパラメータ間の相互作用を避けて,消失勾配問題を軽減する。一般的なソフトマックス法の代わりに,連続スケールシグモイド法により効率的なニューラルネットワークの非凸最適化問題に取り組んだ。大規模な実験は,著者らのDNAL法が効率に関して優れた性能を配送し,従来のCNN(例えば,VGG16とResNet50),軽量CNN(例えば,MobileNetV2)と確率的スーパーネット(例えば,Proxyless NAS)に順応することを証明した。”その方法”は,従来のCNNs(例えば,VGG16とResNet50),軽量CNNs(例えばMobileNetV2)と確率的スーパーネット(例えば,Proxyless NAS)に順応する。DNALによって学習された最適ニューラルネットワークは,精度,モデルサイズ,および計算複雑度におけるベンチマークCIFAR-10とImageNet-1Kデータセットに関する最先端手法によって生成されたものを凌駕する。このソースコードはhttps://github.com/QingbeiGuo/DNAL.gitで利用可能である。Copyright 2022 Elsevier B.V., Amsterdam. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 最適化 ,  相互作用 ,  *学習 ,  *ニューラルネットワーク ,  *微分 ,  計算量 ,  ベンチマーク ,  *計算機アーキテクチャ ,  機械学習 ,  シグモイド関数
準シソーラス用語： 神経回路網モデル ,  計算効率 ,  ソースコード ,  非凸最適化問題 ,  畳込みニューラルネットワーク , 【Automatic Indexing@JST】

著者キーワード (4件)： 深層ニューラルネットワーク ,  畳込みニューラルネットワーク ,  神経アーキテクチャ探索 ,  自動機械学習

分類 (2件)： パターン認識  (JE07000S) ,  図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (3件)： ニューラルネットワーク ,  微分 ,  学習