ニューラルネットワークは同じモデルツイスを学習できるか?決定境界視点からの再現性と二重降下の調査【JST・京大機械翻訳】

Somepalli Gowthami; Fowl Liam; Bansal Arpit; Yeh-Chiang Ping; Dar Yehuda; Baraniuk Richard; Goldblum Micah; Goldstein Tom

プレプリント

J-GLOBAL ID：202202202075159265 整理番号：22P0304774

ニューラルネットワークは同じモデルツイスを学習できるか?決定境界視点からの再現性と二重降下の調査【JST・京大機械翻訳】

Can Neural Nets Learn the Same Model Twice? Investigating Reproducibility and Double Descent from the Decision Boundary Perspective

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2022年03月15日プレプリントサーバーでの情報更新日： 2022年03月15日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ニューラルネットワーク決定境界と決定領域を可視化する方法を論じた。これらの可視化を用いて,ニューラルネットワーク訓練における再現性と一般化に関連する問題を調べた。モデルアーキテクチャ(およびその関連誘導バイアス)における変化は,決定境界の可視変化を引き起こすが,一方,同じアーキテクチャの多重実行は,特に広いアーキテクチャの場合,強い類似性を持つ結果をもたらすことを観測した。また,二重降下現象を可視化するために決定境界法を用いた。決定境界再現性はモデル幅に強く依存することが分かった。補間の閾値近くで,ニューラルネットワーク決定境界は多くの小さな決定領域に断片化され,これらの領域は非再現性である。一方,非常に狭く非常に広いネットワークは,比較的少数の決定領域を有するそれらの決定境界において高いレベルの再現性を持つ。この観測が凸モデルにおける二重降下現象の理論にどのように関係するかを論じた。コードはhttps://github.com/somepago/dbVizで利用可能である。【JST・京大機械翻訳】

, , , , , , , , , , ,

ニューロコンピュータ

, , , , , ,

前のページに戻る