コントラスト表現蒸留【JST・京大機械翻訳】

Tian Yonglong; Krishnan Dilip; Isola Phillip

プレプリント

J-GLOBAL ID：202202212115163100 整理番号：22P0274156

コントラスト表現蒸留【JST・京大機械翻訳】

Contrastive Representation Distillation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2019年10月23日プレプリントサーバーでの情報更新日： 2022年01月24日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

しばしば,1つのニューラルネットワークからもう1つのニューラルネットワークへの表現知識を転送することを望む。用例は,大きなネットワークをより小さなものに蒸留し,1つの感覚様式から2番目まで知識を転送するか,あるいは単一推定子にモデルの収集を集合させる。これらの問題に対する標準アプローチである知識蒸留は,教師と学生ネットワークの確率的出力間のKL発散を最小化する。この目的が教師ネットワークの重要な構造知識を無視することを示した。これは,データの教師の表現におけるより多くの情報を捉えるために,学生を訓練する代替目的を動機づける。この目的を対照学習として定式化した。実験は,著者らの新しい目的が,単一モデル圧縮,アンサンブル蒸留,および交差モード移動を含む,様々な知識移転タスクにおける知識蒸留と他の切断エッジ蒸留器より優れていることを実証した。提案手法は,多くの転送タスクにおいて新しい最先端技術を設定し,時には知識蒸留と組み合わせた場合,教師ネットワークを凌駕する。コード:http://github.com/HobbitLong/RepDistiller。【JST・京大機械翻訳】

, , , , , , , , ,
, , , , 【Automatic Indexing@JST】

人工知能

, ,

前のページに戻る