ランダムラベルで訓練されたとき,ニューラルネットワークは何を学んだか?【JST・京大機械翻訳】

Maennel Hartmut; Alabdulmohsin Ibrahim; Tolstikhin Ilya; Baldock Robert J. N.; Bousquet Olivier; Gelly Sylvain; Keysers Daniel

プレプリント

J-GLOBAL ID：202202202995970500 整理番号：22P0160922

ランダムラベルで訓練されたとき,ニューラルネットワークは何を学んだか?【JST・京大機械翻訳】

What Do Neural Networks Learn When Trained With Random Labels?

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2020年06月18日プレプリントサーバーでの情報更新日： 2020年11月11日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

完全ランダムラベルを持つ自然画像データ上で訓練された深層ニューラルネットワーク(DNN)を研究した。文献における人気にもかかわらず,記憶,一般化,および他の現象を研究するためにしばしば用いられるが,どのDNNがこの設定で学習するかについてはほとんど知られていない。本論文では,ランダムラベルで訓練するとき,ネットワークパラメータとデータの主成分間のアラインメントが起こる畳み込みと完全接続ネットワークについて解析的に示した。ランダムラベル付き画像データで事前訓練されたニューラルネットワークを調べ,次にランダムまたは実ラベルで互いに素なデータセットで微調整することにより,このアラインメント効果を調べた。著者らは,このアラインメントが,重みスケーリングのような単純な効果を考慮した後でさえ,スクラッチからの訓練と比較して,ランダムラベル列で事前訓練されたネットワークが,正の転送をどのように生成するかを示す。後期層における特殊化のような競合効果が,正の移動を隠す可能性があるかを分析した。これらの効果は,CIFAR10とImageNet上でVGG16とResNet18を含むいくつかのネットワークアーキテクチャで研究されている。【JST・京大機械翻訳】

, , , , , , , ,
, , , , , , , 【Automatic Indexing@JST】

人工知能

, ,

前のページに戻る