深いブートストラップフレームワーク:良いオンライン学習者は良いオフライン一般化器である【JST・京大機械翻訳】

Nakkiran Preetum; Neyshabur Behnam; Sedghi Hanie

プレプリント

J-GLOBAL ID：202202211818344185 整理番号：21P0054682

深いブートストラップフレームワーク:良いオンライン学習者は良いオフライン一般化器である【JST・京大機械翻訳】

The Deep Bootstrap Framework: Good Online Learners are Good Offline Generalizers

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2020年10月15日プレプリントサーバーでの情報更新日： 2021年02月18日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

深層学習における一般化に関する推論のための新しいフレームワークを提案した。コアアイディアは,最適化者が経験的損失で確率的勾配ステップを,理想世界に採用し,そこでは,最適化者が母集団損失のステップを取る,現実世界を結合させることである。これは試験誤差の交互分解につながる。(1)理想世界試験誤差プラス(2)2つの世界間のギャップ。ギャップ(2)が普遍的に小さいならば,これはオンライン学習における最適化の問題にオフライン学習における一般化の問題を減らす。次に,世界間のこのギャップが現実的深層学習設定,特に教師付き画像分類において小さいという経験的証拠を与えた。例えば,CNNは現実世界における画像分布においてMLPよりも良く一般化するが,これは”原因”であり,それは理想的世界における個体群損失に関してより速く最適化する。これは,著者らのフレームワークが深層学習における一般化を理解するための有用なツールであり,この分野における将来の研究の基礎を築くことを示唆する。【JST・京大機械翻訳】

, , , ,
, , , , 【Automatic Indexing@JST】

人工知能

, ,

前のページに戻る