グラフ表現学習のための構造を意識した変圧器【JST・京大機械翻訳】

Chen Dexiong; O'Bray Leslie; Borgwardt Karsten

プレプリント

J-GLOBAL ID：202202205466896050 整理番号：22P0285648

グラフ表現学習のための構造を意識した変圧器【JST・京大機械翻訳】

Structure-Aware Transformer for Graph Representation Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年02月07日プレプリントサーバーでの情報更新日： 2022年06月13日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

変換器アーキテクチャは,最近,グラフ表現学習において,それらの厳密な構造誘導バイアスを避け,代わりに位置符号化を介してグラフ構造を符号化するだけで,グラフニューラルネットワーク(GNN)のいくつかの限界を自然に克服するので,グラフ表現学習においてますます注目を集めている。ここでは,位置符号化による変換器により生成されたノード表現が,それらの間の構造的類似性を必ずしも捉えるわけではないことを示した。この課題に取り組むために,新しい自己注意機構で構築された簡単で柔軟なグラフ変換器である構造-Aware変換器を提案する。この新たな自己注意は,注意を計算する前に各ノードに根付いた部分グラフ表現を抽出することにより,元の自己注意に構造情報を組み込む。部分グラフ表現を自動的に生成するためのいくつかの方法を提案し,得られた表現がサブグラフ表現と少なくとも表現的であることを示した。経験的に,著者らの方法は,5つのグラフ予測ベンチマークに関して最先端の性能を達成した。この構造意識フレームワークは,サブグラフ表現を抽出するために任意の既存のGNNを活用でき,GNNと変換器の利点をうまく組み合わせる,ベースGNNモデルに比べて性能を系統的に改善することを示した。このコードはhttps://github.com/BorgwardtLab/SATで利用可能である。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

図形・画像処理一般

, , ,

前のページに戻る