スペクトル学習による重み付きオートマトン,テンソルネットワークおよびリカレントニューラルネットワークの結合【JST・京大機械翻訳】

Li Tianyu; Precup Doina; Rabusseau Guillaume

プレプリント

J-GLOBAL ID：202202211022615942 整理番号：22P0003087

スペクトル学習による重み付きオートマトン,テンソルネットワークおよびリカレントニューラルネットワークの結合【JST・京大機械翻訳】

Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2020年10月19日プレプリントサーバーでの情報更新日： 2022年01月06日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

本論文では,異なる研究分野で使われる3つのモデル,即ち,形式言語と言語学からの加重有限オートマトン(WFA),機械学習で使用される再帰ニューラルネットワーク,および量子物理学と数値解析で用いられる高次テンソルのための最適化技法の集合を含むテンソルネットワークの間の結合を提示した。まず,WFAとテンソル列分解の間の固有関係,テンソルネットワークの特殊形式を提示した。この関係により,WFAにより計算された関数のHankel行列の新しい低ランク構造を示し,この構造を非常に大きなHankel行列までのアルゴリズムをスケーリングするために,この構造を利用する効率的なスペクトル学習アルゴリズムを設計した。次に,WFAと二次電流ニューラルネットワーク( ̄2-RNN)の間の基本的結合を明らかにし,線形活性化関数を持つ離散シンボル,WFAおよび2-RNNのシーケンスの場合,表現的に等価である。この等価結果を重み付けオートマトンの古典的スペクトル学習アルゴリズムと組み合わせて,連続入力ベクトルのシーケンス上で定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを導入した。このアルゴリズムはHankelテンソルの低ランクサブブロックの推定に依存し,そこから線形2-RNNのパラメータを証明できる。提案した学習アルゴリズムの性能を,合成および実世界データの両方に関するシミュレーション研究で評価した。【JST・京大機械翻訳】

, , , , , , , , , , , , , ,
, 【Automatic Indexing@JST】

人工知能 , パターン認識 , 数値計算

, , , ,

前のページに戻る