DrNAS:Dirichletニューラルアーキテクチャ探索【JST・京大機械翻訳】

Chen Xiangning; Wang Ruochen; Cheng Minhao; Tang Xiaocheng; Hsieh Cho-Jui

プレプリント

J-GLOBAL ID：202202219080993010 整理番号：21P0036133

DrNAS:Dirichletニューラルアーキテクチャ探索【JST・京大機械翻訳】

DrNAS: Dirichlet Neural Architecture Search

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年06月18日プレプリントサーバーでの情報更新日： 2021年03月15日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

本論文では,それを分布学習問題に定式化することにより,新しい微分可能アーキテクチャ探索法を提案した。Dirichlet分布によりモデル化したランダム変数として連続的に緩和したアーキテクチャ混合重みを処理した。最近開発された経路状導関数を用いて,Dirichletパラメータを,エンドツーエンド方式で勾配ベースの最適化器によって容易に最適化することができた。この定式化は一般化能力を改善し,探索空間における探索を自然に奨励する確率を誘導する。さらに,微分可能NASの大きなメモリ消費を軽減するために,大規模タスクに直接探索できる簡単で効果的な漸進的学習スキームを提案し,探索と評価フェーズ間のギャップを除去する。大規模な実験は,著者らの方法の有効性を実証した。特に,CIFAR-10に対して2.46%のテスト誤差,モバイル設定の下でImageNetに対して23.7%を得た。NAS-Bench-201に関して,著者らはまた,すべての3つのデータセットに関して最先端の結果を達成して,神経構造探索アルゴリズムの効果的設計に関する洞察を提供する。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能 , ニューロコンピュータ

前のページに戻る