リーブ1アウトエラーのレンズによる一般化【JST・京大機械翻訳】

Bachmann Gregor; Hofmann Thomas; Lucchi Aurelien

プレプリント

J-GLOBAL ID：202202200288407650 整理番号：22P0300093

リーブ1アウトエラーのレンズによる一般化【JST・京大機械翻訳】

Generalization Through The Lens Of Leave-One-Out Error

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年03月07日プレプリントサーバーでの情報更新日： 2022年03月07日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

様々な学習タスクを解くための深層学習モデルの膨大な経験的成功にもかかわらず,それらの一般化能力の理論的理解は非常に限られている。VC次元またはRademacher複雑性のようなツールに基づく古典的一般化限界は,これまで,深いモデルに対して不適当であり,これらの技術が,最も理想的な設定(Nagarajan&Kolter,2019)でさえ,厳しい限界を生じることは疑わしい。本研究では,いわゆるカーネル領域における深層モデルの一般化能力を測定するために,leave-one-out(LOO)誤差の概念を再考した。統計で普及している間,LOO誤差は深層学習の文脈で大きく見落とされてきた。ニューラルネットワークとカーネル学習の間の最近確立された接続で構築することにより,筆者らは,leave-one-out誤差に対する閉形式表現を活用し,試験誤差に対する効率的なプロキシへのアクセスを与えた。理論的および経験的に,leave-one-out誤差が,二重降下,ランダムラベルまたは移動学習のような一般化理論における様々な現象を捉えることができることを示した。従って,本研究は,leave-one-out誤差が,カーネル領域における深層ニューラルネットワークの一般化能力を推定するための扱いやすい方法を提供し,一般化の分野でのポテンシャル,新しい研究方向へのドアを開けることを示した。【JST・京大機械翻訳】

, , , , , ,
, , , , , , , 【Automatic Indexing@JST】

人工知能

前のページに戻る