自己分布蒸留:効率的な不確実性推定【JST・京大機械翻訳】

Fathullah Yassir; Gales Mark J. F.

プレプリント

J-GLOBAL ID：202202212166456365 整理番号：22P0304945

自己分布蒸留:効率的な不確実性推定【JST・京大機械翻訳】

Self-Distribution Distillation: Efficient Uncertainty Estimation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年03月15日プレプリントサーバーでの情報更新日： 2022年03月15日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

深い学習は,安全クリティカルドメインでますます適用されている。これらのシナリオでは,適切な決定がシステムによってなされるため,モデル予測における不確実性のレベルを知ることが重要である。深いアンサンブルは,不確実性の様々な対策を得るためのデファクト標準アプローチである。しかし,アンサンブルは訓練および/または展開段階で必要な資源を著しく増加させる。これらの相の一つでコストを典型的に扱うアプローチを開発した。本研究では,不確実性を推定することができる単一モデルを効率的に訓練できる新しい訓練アプローチ,自己分布蒸留(S2D)を提案した。さらに,これらのモデルのアンサンブルを構築し,階層的アンサンブル蒸留アプローチを適用することが可能である。CIFAR-100に関する実験は,S2Dモデルが標準モデルとモンテカルロドロップアウトを凌駕することを示した。LSUN,Tiny ImageNet,SVHNの付加的外分布検出実験は,標準深層アンサンブルがS2Dベースアンサンブルと新しい蒸留モデルを使用することで性能が優れていることを示した。【JST・京大機械翻訳】

, , , , , , , , ,
, , , 【Automatic Indexing@JST】

水文学一般 , 流出解析

, , , ,

前のページに戻る