畳込みニューラルネットワークにおけるストライドの学習【JST・京大機械翻訳】

Riad Rachid; Teboul Olivier; Grangier David; Zeghidour Neil

プレプリント

J-GLOBAL ID：202202206398578688 整理番号：22P0284265

畳込みニューラルネットワークにおけるストライドの学習【JST・京大機械翻訳】

Learning strides in convolutional neural networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年02月03日プレプリントサーバーでの情報更新日： 2022年02月03日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

畳み込みニューラルネットワークは,通常,中間表現の分解能を徐々に低減する,ストライド畳込みまたはプール層のような,いくつかのダウンサンプリング演算子を含む。これは,全体のアーキテクチャの計算量を縮小しながら,いくつかのシフト不変性を提供する。そのような層の臨界超パラメータは,それらのストライドである:ダウンサンプリングの整数因子。ストライドは微分できないので,最良の構成を見つけるのは,交差確認または離散最適化(例えばアーキテクチャ探索)を必要とし,探索空間がダウンサンプリング層数とともに指数関数的に増大するので,急速に禁止される。したがって,勾配降下によるこの探索空間の探索は,より低い計算コストでより良い構成を見つけることができる。本研究では,学習可能なストライドを有する最初のダウンサンプリング層であるDiffStideを導入した。この層は,Fourier領域におけるクロッピングマスクのサイズを学習し,異なる方法で再サイジングを効果的に行う。オーディオと画像分類に関する実験は,著者らの解法の普遍性と有効性を示し,著者らは,標準ダウンサンプリング層へのドロップイン置換としてDiffStideを使用し,それらを凌駕する。特に,ResNet-18アーキテクチャに著者らの層を導入すると,訓練が不良なランダムストライド構成から始まる場合でも,CIFAR100,およびImageNetに一貫した高性能を保つことができることを示す。さらに,学習可能な変数としてのストライドの定式化により,アーキテクチャの計算の複雑さを制御する正則化項を導入することができる。ここでは,この正則化が画像Netに対する効率に対する精度のトレードオフを可能にすることを示した。【JST・京大機械翻訳】

, , , , , , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

図形・画像処理一般 , 人工知能 , パターン認識

前のページに戻る