確率的学習アルゴリズムのためのレート歪理論的一般化限界【JST・京大機械翻訳】

Sefidgaran Milad; Gohari Amin; Richard Gaeel; Simsekli Umut

プレプリント

J-GLOBAL ID：202202208436294985 整理番号：22P0299124

確率的学習アルゴリズムのためのレート歪理論的一般化限界【JST・京大機械翻訳】

Rate-Distortion Theoretic Generalization Bounds for Stochastic Learning Algorithms

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年03月04日プレプリントサーバーでの情報更新日： 2022年06月29日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

現代の機械学習設定における一般化の理解は,統計的学習理論における主要な課題の1つである。この文脈において,近年,データサンプルとアルゴリズム出力,仮説空間の圧縮性,および仮説空間のフラクタル次元の間の相互情報のような異なる複雑性概念を示唆する様々な一般化限界の開発を目撃した。これらの限界は,異なる角度から手で問題を照明しているが,それらの提案された複雑性概念は,一見無関係に見える可能性があり,それによって,それらの高レベル影響を制限する。本研究では,速度歪理論のレンズを通して新しい一般化限界を証明し,単一数学的フレームワークにおける相互情報,圧縮性およびフラクタル次元の概念を明示的に関連づけた。提案アプローチは,(i)ソース符号化概念を用いて圧縮率の一般化概念を定義すること,および(ii)ΔΨ圧縮誤り率が期待値および高い確率の両者で一般化誤差にリンクできることを示した。著者らは,無損失圧縮の設定において,既存の相互情報ベース限界を復元し,改善するが,一方,損失圧縮のスキームは,レート歪次元,すなわちフラクタル次元の特定の概念に一般化をリンクすることを可能にすることを示した。著者らの結果は,一般化に関するより統一的な展望をもたらし,いくつかの将来の研究方向を開いた。【JST・京大機械翻訳】

, , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

人工知能

, , , ,

前のページに戻る