双方向結合ネットワークによるネットワーク幅の探索【JST・京大機械翻訳】

Su Xiu; You Shan; Xie Jiyang; Wang Fei; Qian Chen; Zhang Changshui; Xu Chang

プレプリント

J-GLOBAL ID：202202210814897590 整理番号：22P0310364

双方向結合ネットワークによるネットワーク幅の探索【JST・京大機械翻訳】

Searching for Network Width with Bilaterally Coupled Network

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年03月25日プレプリントサーバーでの情報更新日： 2022年03月25日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

よりコンパクトなネットワーク幅の探索は,ハードウェア制約の下で畳み込みニューラルネットワーク(CNN)の配置のためのチャネル剪定の効果的方法として最近役立っている。検索を実現するために,ワンショットスーパーネットは,通常,性能wrtの異なるネットワーク幅を効率的に評価するために活用される。しかしながら,現在の方法は,主に,スーパーネットにおけるチャネルの訓練不公平性を誘発する,各幅の評価に対して,片側拡張(UA)原理に従う。本論文では,この問題に対処するために,両側結合ネットワーク(BCNet)と呼ばれる新しいスーパーネットを導入した。BCNetでは,各チャネルはかなり訓練され,同じ量のネットワーク幅に責任があり,従って各ネットワーク幅をより正確に評価できる。さらに,冗長探索空間を減らし,チャネル上の厳密な訓練公平性を確保するために,強化スーパーネットとしてBCNetV2を提案した。さらに,著者らは,BCNetを訓練するための確率的補足戦略を利用し,進化探索の性能を高めるための事前初期母集団サンプリング法を提案した。また,幅探索アルゴリズムのより良い比較のために,チャネル-ベンチマーク-Macroと呼ぶマクロ構造に関する最初のオープンソース幅ベンチマークを提案した。ベンチマークCIFAR-10とImageNetデータセットに関する大規模な実験は,著者らの方法が他のベースライン方法に関して最先端のまたは競合する性能を達成できることを示した。さらに,著者らの方法は,それらのネットワーク幅を精製することによって,NASモデルの性能をさらに向上させる。例えば,同じFLOP収支で,得られた効率的Net-B0は,画像Netデータセット上で77.53%Top-1精度を達成し,元の設定の性能を0.65%凌駕した。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

無線通信一般 , 計算機網

前のページに戻る