高精度学習のために不適切な訓練データの記憶はいつ必要か?【JST・京大機械翻訳】

Brown Gavin; Bun Mark; Feldman Vitaly; Smith Adam; Talwar Kunal

プレプリント

J-GLOBAL ID：202202203815340372 整理番号：21P0067573

高精度学習のために不適切な訓練データの記憶はいつ必要か?【JST・京大機械翻訳】

When is Memorization of Irrelevant Training Data Necessary for High-Accuracy Learning?

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年12月11日プレプリントサーバーでの情報更新日： 2021年07月21日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

現代の機械学習モデルは複雑で,個々の入力に関する情報の驚くべき量を頻繁に符号化する。極端な場合,複雑なモデルは,一見無関係な情報(例えば,テキストからの社会的セキュリティ数)を含む全入力事例を記憶するように見える。本論文では,この種の記憶が正確な学習に必要であるかどうかを理解することを目的とする。著者らは,あらゆる十分に正確な訓練アルゴリズムが,予測モデルにおいて,その訓練用例の大規模部分集合に関するすべての情報について,本質的に符号化しなければならない自然予測問題を記述する。用例が高次元であり,サンプルサイズよりはるかに高いエントロピーを持ち,その情報が最終的に手作業に無関係である場合でも,これは真実である。さらに,著者らの結果は訓練アルゴリズムや学習に用いるモデルのクラスに依存しない。この問題は,次のシンボル予測とクラスタラベリングタスクの簡単でかなり自然な変異体である。これらのタスクはテキストおよび画像関連予測問題の抽象化として見ることができる。筆者らの結果を確立するために,著者らは,新しい情報複雑性下界を証明する1方向通信問題のファミリーから縮小する。さらに,ロジスティック回帰とニューラルネットワーク分類器への攻撃の成功を示す合成データ実験を示した。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能

前のページに戻る