早期学習正則化は雑音ラベルの記憶を防止する【JST・京大機械翻訳】

Liu Sheng; Niles-Weed Jonathan; Razavian Narges; Fernandez-Granda Carlos

プレプリント

J-GLOBAL ID：202202202623774879 整理番号：22P0165803

早期学習正則化は雑音ラベルの記憶を防止する【JST・京大機械翻訳】

Early-Learning Regularization Prevents Memorization of Noisy Labels

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2020年06月30日プレプリントサーバーでの情報更新日： 2020年10月22日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

雑音の多いアノテーションの存在下で深層学習を介して分類を行う新しいフレームワークを提案した。雑音のあるラベル上で訓練されたとき,深いニューラルネットワークが,最終的に偽ラベルで用例を記憶する前に,「早期学習」フェーズの間,クリーンラベルによって訓練データに適合することが観察されている。初期学習と記憶は,単純な線形モデルにおいても,高次元分類タスクにおける基本的現象であり,この設定において理論的説明を与えることを証明した。これらの知見により動機づけられて,早期学習段階の進展を利用する,雑音のある分類タスクのための新しい技術を開発した。既存の手法とは対照的に,早期学習中のモデル出力を用いて,クリーンラベルで例を検出し,偽ラベルを補正するか試みるのに,異なる経路を取り上げ,代わりに正則化を介して早期学習を資本化する。著者らのアプローチには2つの重要な要素がある。最初に,モデル出力に基づく目標確率を生成するために,半教師つき学習技術を利用した。第2に,これらの目標に向けてモデルを操縦する正則化項を設計し,誤ったラベルの記憶を暗黙的に防止する。得られたフレームワークは,いくつかの標準ベンチマークと実世界データセットに関する雑音のある注釈に対してロバスト性を提供することが示され,そこでは,最先端技術に匹敵する結果を達成した。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , , , 【Automatic Indexing@JST】

人工知能

, , , ,

前のページに戻る