リカレントニューラルネットワーク性能のLyapunov誘導表現【JST・京大機械翻訳】

Vogt Ryan; Zheng Yang; Shlizerman Eli

プレプリント

J-GLOBAL ID：202202216000382148 整理番号：22P0329298

リカレントニューラルネットワーク性能のLyapunov誘導表現【JST・京大機械翻訳】

Lyapunov-Guided Representation of Recurrent Neural Network Performance

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年04月11日プレプリントサーバーでの情報更新日： 2023年12月27日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

再帰ニューラルネットワーク(RNN)は,シーケンスと多変量時系列データのためのユビキタスコンピューティングシステムである。RNNのいくつかのロバストアーキテクチャは知られているが,与えられたタスクに対してRNN初期化,アーキテクチャ,および他のハイパーパラメータをどのように相関するかは不明である。本研究では,動的システムとしてRNNを扱うことを提案し,非線形動的系に対して特別に設計した方法論であるLyapunovスペクトル解析を通して,ハイパーパラメータを精度と相関させた。RNNの特徴が既存のLyapunovスペクトル解析を越えているという事実に取り組むために,著者らはAutoencoderによるLyapunovスペクトルと潜在表現(AeLLE)の埋込みから関連特徴を推論することを提案する。種々のRNNアーキテクチャの著者らの研究は,AeLLEがRNNLyapunovスペクトルを精度とうまく相関することを示した。さらに,AeLLEによって学習された潜在表現は,同じタスクからの新しい入力に一般化可能であり,RNN訓練の過程において早期に形成される。後者の特性は,訓練が完了するとき,RNNが収束する精度の予測を可能にする。著者らは,AeLLEと共にLyapunovスペクトルによるRNNの表現が,RNNアーキテクチャのバリアントの組織化と解釈のための新しい方法を提供すると結論する。【JST・京大機械翻訳】

, , , , , , , ,
, , , , 【Automatic Indexing@JST】

ニューロコンピュータ , 人工知能

前のページに戻る