抄録/ポイント：
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
知識蒸留は,通常,大きなネットワーク,または教師を,その出力にマッチするように訓練することにより,小さなもの,学生に圧縮するために使用される。最近,いくつかの研究は,敵対攻撃に対するロバスト性が,モバイルフレンドリーなモデルに対するロバスト性の良い速度を達成するために効果的に蒸留できることを示した。しかし,本研究では,異なる視点を取り上げ,知識蒸留が,敵対的ロバスト性における最先端のモデルの性能を高めるために直接使用できることを示した。この意味で,著者らは徹底的分析を提示し,ロバストな教師から知識を蒸留し,さらに学生モデルのクリーンで敵対的な性能を高めるための一般的なガイドラインを提供した。そのために,著者らは,元のラベルと教師出力の混合物に関する学生を敵対的に訓練することから成る,モデルロバスト性能を改善するための新しいフレームワークである,Adversarial知識蒸留(AKD)を提示した。注意深く制御されたアブレーション研究を通して,早期停止,モデルアンサンブルおよび弱い敵対訓練を用いることが,学生の性能を最大化するための重要な技術であり,これらの洞察が,異なるロバスト蒸留技術にわたって一般化することを示した。最後に,学生ネットワークのダイナミクスに対するロバストな知識蒸留の影響に関する洞察を提供し,AKDがネットワークのキャリブレーションを改善し,モデルが学習するのが難しいか,または記憶するので,その訓練動力学を修正することを示した。【JST・京大機械翻訳】
