文献

J-GLOBAL ID：202102218756723709   整理番号：21A0089307

カーネル法の漸近学習曲線:経験的データ対教師付きパラダイム【JST・京大機械翻訳】

Asymptotic learning curves of kernel methods: empirical data versus teacher-student paradigm

著者 (3件)： Spigler Stefano (Institute of Physics, Ecole Polytechnique Federale de Lausanne, 1015 Lausanne, Switzerland) ,  Geiger Mario (Institute of Physics, Ecole Polytechnique Federale de Lausanne, 1015 Lausanne, Switzerland) ,  Wyart Matthieu (Institute of Physics, Ecole Polytechnique Federale de Lausanne, 1015 Lausanne, Switzerland)
資料名： Journal of Statistical Mechanics: Theory and Experiment  (Journal of Statistical Mechanics: Theory and Experiment)
巻： 2020  号： 12  ページ： 124001 (27pp)  発行年： 2020年 
JST資料番号： W5566A  ISSN： 1742-5468  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： イギリス (GBR)  言語： 英語 (EN)

抄録/ポイント： 教師つきタスクを学習するために,多くの訓練データが必要である。一般化誤差はn-βとして減少し,nは訓練例数であり,βはデータとアルゴリズムの両方に依存する指数である。本研究では,実データセットにカーネル法を適用するときのβを測定した。MNISTでは,回帰および分類タスクの両者に対して,またGaussまたはLaplaceカーネルに対して,β≒0.4およびCIFAR10β≒0.1を見出した。使用する特定のカーネルに依存しない非自明な指数の存在を合理化するために,カーネルのための教師-スチューデントフレームワークを研究した。このスキームでは,教師はGauss確率場に従ってデータを生成し,学生はカーネル回帰によりそれらを学習する。単純化仮定により,データを通常の格子からサンプリングして,クリギング文献からの以前の結果を用いて,並進不変カーネルに対して解析的にβを導いた。学生は高頻度にあまり敏感でないので,βは訓練データの滑らかさと次元のみに依存する。訓練点が超球面上でランダムでサンプリングされるとき,これらの予測が保持されることを,数値的に確認した。全体として,そのランクがnより大きいカーネル固有ベクトル上の真の関数の射影の大きさによって,試験誤差を制御することが分かった。このアイデアを用いて,カーネルPCAを実行することにより実データからの指数βを予測し,CIFAR10のβ≒0.36とCIFAR10のβ≒0.07を導き,観察と良く一致した。これらのかなり大きな指数がデータの小さい有効次元により可能であると主張した。Please refer to the publisher for the copyright holders. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アルゴリズム ,  *学習曲線 ,  簡素化 ,  合理化 ,  球面 ,  並進不変性 ,  固有ベクトル ,  平滑度 ,  クリギング
準シソーラス用語： 確率場 ,  訓練データ ,  *Kernel法 ,  カーネル回帰 , 【Automatic Indexing@JST】

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (5件)： カーネル法 ,  学習曲線 ,  経験的データ ,  教師 ,  パラダイム