CNN解釈可能性のためのスパースにゲートされた混合エキスパート層【JST・京大機械翻訳】

Pavlitska Svetlana; Hubschneider Christian; Struppek Lukas; Zollner J. Marius

プレプリント

J-GLOBAL ID：202202220260744423 整理番号：22P0336809

CNN解釈可能性のためのスパースにゲートされた混合エキスパート層【JST・京大機械翻訳】

Sparsely-gated Mixture-of-Expert Layers for CNN Interpretability

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年04月22日プレプリントサーバーでの情報更新日： 2023年04月27日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

エキスパート(MoE)層のスパースゲート混合は,最近,大規模変圧器のスケーリング,特に言語モデリングタスクに対して成功裏に適用されている。スパースMoE層の興味深い副作用は,それらが自然エキスパート専門化を介してモデルに固有の解釈性を伝えることである。本研究では,コンピュータビジョンタスクのためにCNNにスパースMoE層を適用し,モデル解釈可能性に対する結果の影響を解析した。MoE訓練を安定化するために,ソフトおよびハード制約ベースアプローチの両方を提示した。ハード制約により,ある専門家の重みはゼロになるが,ソフト制約は付加的補助損失による専門家の寄与をバランスさせる。結果として,ソフト制約はエキスパート利用をよりよく扱い,専門家の専門化プロセスをサポートし,一方,ハード制約は,より一般化された専門家を維持し,全体のモデル性能を増加させる。著者らの知見は,専門家が入力空間の個々のサブドメインに暗黙的に焦点を合わせることができることを証明した。例えば,CIFAR-100画像分類のために訓練された専門家は,以前のデータクラスタリングなしで,花や動物のような異なるドメインを認識する際に特殊化する。さらに,RetinaNetとCOCOデータセットを用いた実験により,オブジェクト検出エキスパートが,異なるサイズのオブジェクトの検出において特殊化できることを示した。【JST・京大機械翻訳】

, , , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能

, , ,

前のページに戻る