グラフ畳込みネットワークからの知識の蒸留【JST・京大機械翻訳】

Yang Yiding; Qiu Jiayan; Song Mingli; Tao Dacheng; Wang Xinchao

プレプリント

J-GLOBAL ID：202202211419559364 整理番号：21P0027343

グラフ畳込みネットワークからの知識の蒸留【JST・京大機械翻訳】

Distilling Knowledge from Graph Convolutional Networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年03月23日プレプリントサーバーでの情報更新日： 2021年01月09日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

既存の知識蒸留法は畳み込みニューラルネットワーク(CNNs)に焦点を合わせ,そこでは画像のような入力サンプルが格子領域にあり,非格子データを扱うグラフ畳み込みネットワーク(GCN)を大きく見落としている。本論文では,事前訓練されたGCNモデルからの知識を蒸留する最初の専用のアプローチを,著者らが知る限り提案した。教師GCNから学生への知識移転を可能にするために,教師のトポロジー意味論を明示的に説明する局所構造保存モジュールを提案した。このモジュールでは,教師と学生の両方からの局所構造情報を分布として抽出し,従って,これらの分布間の距離を最小化することにより,教師からのトポロジー認識知識移転を可能にし,コンパクトだが高性能の学生モデルを得た。さらに,提案した手法は動的グラフモデルに容易に拡張可能であり,教師と学生の入力グラフが異なる可能性がある。異なるアーキテクチャのGCNモデルを用いて2つの異なるデータセットで提案した方法を評価し,この方法がGCNモデルに対する最先端の知識蒸留性能を達成することを実証した。コードはhttps://github.com/ihollywhy/DistillGCN.PyTorchで公開されている。【JST・京大機械翻訳】

, , , , ,
, , , , 【Automatic Indexing@JST】

人工知能

, , ,

前のページに戻る