抄録/ポイント：
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
アンサンブル知識蒸留は複数の教師モデルから知識を抽出し,それを単一学生モデルに符号化する。多くの既存の方法は,ラベル付きデータだけに関する学生モデルを学習し,蒸留する。しかし,教師モデルは,通常,同じラベル付きデータで学習され,それらの予測は,グラウンドトルースラベルとの高い相関を持つ。したがって,学生教育のためのタスクラベルに対する十分な知識を補完することはできない。非ラベルラベルデータに関する蒸留は,教師から学生への知識移転を強化する可能性を有する。本論文では,ラベル付きおよびラベルなしデータの両方に関する教師モデルのアンサンブルから単一学生モデルを蒸留する統一的かつ効果的なアンサンブル知識蒸留法を提案した。異なる教師は,同じサンプルに関して多様な予測正当性を持つかもしれないので,ラベル付けされたデータに関して,著者らは,それらの正当性に従って,異なる教師の予測を重みづけした。さらに,高品質知識を蒸留するための教師集合の全体的予測正当性に基づく蒸留損失を重み付けした。ラベルなしデータに関して,予測正当性を評価するために,グラウンドトルスはない。幸いことに,教師間の不一致は試料硬度の指標であり,従って,重要なサンプルに関する知識蒸留を強調するために教師の不一致に基づく蒸留損失を重み付けする。4つのデータセットに関する広範な実験は,提案したアンサンブル蒸留法の有効性を示した。【JST・京大機械翻訳】
