教師付き学習における補助損失の適応混合【JST・京大機械翻訳】

Sivasubramanian Durga; Maheshwari Ayush; Shenoy Pradeep; AP Prathosh; Ramakrishnan Ganesh

プレプリント

J-GLOBAL ID：202202215022705831 整理番号：22P0285862

教師付き学習における補助損失の適応混合【JST・京大機械翻訳】

Adaptive Mixing of Auxiliary Losses in Supervised Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2022年02月07日プレプリントサーバーでの情報更新日： 2022年12月07日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

いくつかの教師つき学習シナリオにおいて,追加情報または制約を教師つき学習目的に導入するために,補助損失を用いた。例えば,知識蒸留は強力な教師モデルの出力を模倣することを目的とする。同様に,ルールベースアプローチにおいて,弱いラベリング情報を,真のラベルに対する雑音のあるルールベース近似であるかもしれないラベリング関数によって提供した。これらの損失を原理的に組み合わせる学習の問題に取り組んだ。著者らの提案,AMALは,訓練データ上で,事例レベルで最適混合重みを学習するための検証データに2レベル最適化基準を使用する。この2レベル目的を解決するためのメタ学習手法を記述し,教師つき学習における異なるシナリオにいかに適用できるかを示した。多くの知識蒸留とルール雑音除去ドメインにおける実験は,AMALがそれらのドメインにおける競合基準線に対して顕著な利得を提供することを示した。提案手法を経験的に解析し,性能利得を提供する機構への洞察を共有した。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

人工知能

, ,

前のページに戻る