抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
近年,深層ニューラルネットワークは,特にコンピュータビジョンタスクに対して,産業と学界の両方で成功している。深層学習の大きな成功は,主に大規模データを符号化し,モデルパラメータの10億を操作するそのスケーラビリティのためである。しかし,限られた資源,例えば携帯電話や組込み機器,例えば,高い計算複雑性だけでなく大きな貯蔵要求を有するデバイスに,これらの厄介な深いモデルを展開することは,挑戦である。この目的のために,種々のモデル圧縮と加速技術を開発した。モデル圧縮と加速の代表的タイプとして,知識蒸留は,大教師モデルから小学生モデルを効果的に学習する。それはコミュニティから急速に増加する注目を受けた。本論文は,知識カテゴリー,訓練方式,教師-学生構造,蒸留アルゴリズム,性能比較および応用の展望から知識蒸留の包括的な調査を提供した。さらに,知識蒸留における課題を簡潔にレビューして,将来の研究に関するコメントについて論じて,提唱した。【JST・京大機械翻訳】