ニューラルネットワークにおける情報転送の測定【JST・京大機械翻訳】

Zhang Xiao; Li Xingjian; Dou Dejing; Wu Ji

プレプリント

J-GLOBAL ID：202202203568428016 整理番号：22P0191411

ニューラルネットワークにおける情報転送の測定【JST・京大機械翻訳】

Measuring Information Transfer in Neural Networks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2020年09月16日プレプリントサーバーでの情報更新日： 2020年12月03日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

ニューラルネットワークモデルにおける情報内容の定量化は,基本的にモデルのKolmogorov複雑性を推定する。ニューラルネットワーク上の先験的符号化の最近の成功は,モデルの効率的な記述長を導く有望な経路を指摘する。著者らは,情報転送(L_IT)を用語する,事前確率符号化に基づくニューラルネットワークモデルにおける一般化可能な情報の実用的測度を提案した。理論的には,L_ITはモデルの情報コンテンツの一般化可能な部分の推定である。実験では,L_ITが一般化可能情報と一貫して相関し,モデルまたはデータセットにおけるパターンまたは「知識」の尺度として使用できることを示した。その結果,L_ITは深層学習における有用な解析ツールとして役立つ。本論文では,L_ITを適用し,データセットにおける情報を比較し,解析し,転送学習における表現モデルを評価し,壊滅的忘却および連続学習アルゴリズムを解析した。L_ITは,ニューラルネットワーク学習への新しい洞察の発見を助ける情報展望を提供する。【JST・京大機械翻訳】

, , , , , , , ,
, , , , , 【Automatic Indexing@JST】

人工知能 , ニューロコンピュータ , パターン認識 , 脳・神経系モデル

前のページに戻る