FuNNscope:完全連結ニューラルネットワークの損失景観を対話型に探索するための視覚顕微鏡【JST・京大機械翻訳】

Doknic Aleksandar; Moller Torsten

プレプリント

J-GLOBAL ID：202202219346568131 整理番号：22P0328933

FuNNscope:完全連結ニューラルネットワークの損失景観を対話型に探索するための視覚顕微鏡【JST・京大機械翻訳】

FuNNscope: Visual microscope for interactively exploring the loss landscape of fully connected neural networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年04月09日プレプリントサーバーでの情報更新日： 2022年04月09日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

様々な分野での有効利用にもかかわらず,ニューラルネットワークの多くの側面はよく理解されていない。ニューラルネットワークの特性を研究する一つの重要な方法は,損失景観を調査することである。しかし,ほとんどのモデルは可視化が困難な高次元非凸景観を生成する。解釈可能な軸を持つチャートを用いて実際の損失景観幾何学を近似する新しい方法で1Dおよび2Dスライシングに基づく既存の可視化法を議論し,拡張した。小さなニューラルネットワークの観測がより複雑なシステムに一般化し,有用な洞察を与えるという仮定に基づいて,計算的に安価な実験と対話型ダッシュボードの使用を可能にする数10重量の範囲の小モデルに焦点を当てた。ゼロベクトル周辺の対称性,大域的景観に対する異なる層の影響,最小化器周辺の異なる重み感度,および勾配降下が高損失障害物をいかにナビゲートするかを観察した。ユーザ研究は,改良のための提案による平均SUS(System Usability Scale)スコアをもたらし,オートエンコーダやアンサンブルネットワークのような多くの可能なアプリケーションシナリオを開いた。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

人間機械系 , 分子・遺伝情報処理

, , , , , ,

前のページに戻る