知識蒸留:調査【JST・京大機械翻訳】

Gou Jianping; Yu Baosheng; Maybank Stephen John; Tao Dacheng

プレプリント

J-GLOBAL ID：202202211840897724 整理番号：21P0034913

知識蒸留:調査【JST・京大機械翻訳】

Knowledge Distillation: A Survey

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2020年06月09日プレプリントサーバーでの情報更新日： 2021年05月20日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

近年,深層ニューラルネットワークは,特にコンピュータビジョンタスクに対して,産業と学界の両方で成功している。深層学習の大きな成功は,主に大規模データを符号化し,モデルパラメータの10億を操作するそのスケーラビリティのためである。しかし,限られた資源,例えば携帯電話や組込み機器,例えば,高い計算複雑性だけでなく大きな貯蔵要求を有するデバイスに,これらの厄介な深いモデルを展開することは,挑戦である。この目的のために,種々のモデル圧縮と加速技術を開発した。モデル圧縮と加速の代表的タイプとして,知識蒸留は,大教師モデルから小学生モデルを効果的に学習する。それはコミュニティから急速に増加する注目を受けた。本論文は,知識カテゴリー,訓練方式,教師-学生構造,蒸留アルゴリズム,性能比較および応用の展望から知識蒸留の包括的な調査を提供した。さらに,知識蒸留における課題を簡潔にレビューして,将来の研究に関するコメントについて論じて,提唱した。【JST・京大機械翻訳】

, , , , ,
, , , , , , , 【Automatic Indexing@JST】

人工知能

前のページに戻る