減結合正則化器によるハード混合サンプルの利用【JST・京大機械翻訳】

Liu Zicheng; Li Siyuan; Wang Ge; Tan Cheng; Wu Lirong; Li Stan Z.

プレプリント

J-GLOBAL ID：202202202813199820 整理番号：22P0307411

減結合正則化器によるハード混合サンプルの利用【JST・京大機械翻訳】

Harnessing Hard Mixed Samples with Decoupled Regularizer

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年03月21日プレプリントサーバーでの情報更新日： 2023年10月23日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ミキシングは,混合データによる決定境界を平滑化することにより,ニューラルネットワークの一般化を改善する効率的なデータ増強アプローチである。最近,動的混合法は,混合試料におけるターゲット関連顕著領域を最大化することにより,以前の静的ポリシー(例えば線形補間)を効果的に改善したが,過度の追加時間コストは許容できない。これらの付加的計算オーバヘッドは主に混合ラベルに従って混合サンプルを最適化することから来る。しかし,ラベル不整合混合試料が識別特徴を局在化する深層モデルのための有益なハード混合サンプルであるため,余分な最適化ステップは冗長である可能性があることを見出した。本論文では,より複雑な動的混合政策を提案する試みはないが,むしろ,デカップルMixup(DM)と命名された分離正則化器との効率的な混合目的関数を提案した。一次効果は,DMが,混合の元の滑らかさを失うことなく,識別特徴を採掘するために,これらのハード混合試料を適応的に利用できることである。その結果,DMは,余分な計算なしで,動的方法の性能と同等または超える静的混合法を可能にする。また,これは,決定境界の平滑化と識別特徴の同定の両方に焦点を当てる必要がある混合訓練のための興味深い目的設計問題をもたらす。7つのデータセットにわたる教師つきおよび半教師つき学習ベンチマークに関する広範な実験は,プラグアンドプレイモジュールとしてのDMの有効性を検証した。ソースコードとモデルは,https://github.com/Westlake AI/openmixupで利用可能である。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

人工知能 , パターン認識

, ,

前のページに戻る