情報密度と条件付き情報密度による一般化限界【JST・京大機械翻訳】

Hellstrom Fredrik; Durisi Giuseppe

プレプリント

J-GLOBAL ID：202202220018865151 整理番号：21P0032198

情報密度と条件付き情報密度による一般化限界【JST・京大機械翻訳】

Generalization Bounds via Information Density and Conditional Information Density

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2020年05月16日プレプリントサーバーでの情報更新日： 2023年03月09日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

指数不等式に基づく一般的手法を提示し,ランダム化学習アルゴリズムの一般化誤差に関する限界を導いた。このアプローチを用いて,PAC-Bayesと単一ドローシナリオの両方に対して,そのテール確率に関する限界と同様に平均一般化誤差に関する限界を提供した。特に,サブGauss損失関数の場合,訓練データと出力仮説の間の情報密度に依存する新しい限界を得た。適切に弱めるとき,これらの限界は,文献で利用可能な多くの情報理論的限界を回復する。また,学習アルゴリズムが利用可能な訓練データのランダムに選択された部分集合に依存する,SteinkeとZakynthinou(2020)によって最近導入された設定に,提案した指数的品質アプローチを拡張した。この設定のために,著者らは,すべての訓練データを与えて,出力仮説と部分集合選択を決定するランダム変数の間の条件付き情報密度に関して,有界損失関数の限界を提示した。著者らのアプローチを通して,SteinkeとZakynthinou(2020)によって提示された平均一般化限界を復元し,それをPAC-Bayesと単一ドローシナリオに拡張した。単一ドローシナリオでは,条件付きα-相互情報と条件付き最大漏洩に関して新しい限界も得た。【JST・京大機械翻訳】

, , , , , , ,
, , , , 【Automatic Indexing@JST】

人工知能 , 数値計算

, ,

前のページに戻る