文献

J-GLOBAL ID：202202256928683161   整理番号：22A1086614

Remainderの注意:リカレントニューラルネットワークに関するTaylor定理ビュー【JST・京大機械翻訳】

Mind the Remainder: Taylor’s Theorem View on Recurrent Neural Networks

著者 (5件)： Guan Xiang (Center for Future Media, University of Electronic Science and Technology of China, Chengdu, China) ,  Yang Yang (Center for Future Media, University of Electronic Science and Technology of China, Chengdu, China) ,  Li Jingjing (Center for Future Media, University of Electronic Science and Technology of China, Chengdu, China) ,  Xu Xing (Center for Future Media, University of Electronic Science and Technology of China, Chengdu, China) ,  Shen Heng Tao (Center for Future Media, University of Electronic Science and Technology of China, Chengdu, China)
資料名： IEEE Transactions on Neural Networks and Learning Systems  (IEEE Transactions on Neural Networks and Learning Systems)
巻： 33  号： 4  ページ： 1507-1519  発行年： 2022年 
JST資料番号： T0881A  ISSN： 2162-237X  CODEN： ITNNEP  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： リカレントニューラルネットワーク(RNN)は,ほとんど全てのシーケンスモデリングタスクにおいて大きな人気を得ている。努力にもかかわらず,テキスト,オーディオ,およびビデオのようなこれらの種類の離散非構造化データは,特徴空間に埋め込むことが依然として困難である。ニューラルネットワークの改善における研究は,より複雑なまたはより深いアーキテクチャの導入以来加速した。以前の方法の改良は,巨大な計算源を犠牲にしてモデルに大きく依存している。しかし,そのアルゴリズムには注目が払われていない。本論文では,RNNの構築とTaylor級数を埋める。訓練RNNはTaylor級数のパラメータ推定として考えられる。しかしながら,著者らは,傾斜降下を用いて最適化できない有限Taylor級数における剰余と呼ばれる離散項があり,それは打ち切り誤差の理由の一部であり,局所最適解に陥るモデルであった。これに取り組むために,著者らは,残差の範囲を推定する訓練アルゴリズムを提案し,この連続空間において,RNNにサンプリングして得られた剰余を導入し,パラメータの最適化を支援する。特に,RNNの性能は試験段階でRNNアーキテクチャを変えることなく改善できる。提案アプローチは行動認識とクロスモーダル検索タスクにおいて最先端の性能を達成できることを示した。Copyright 2022 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： アルゴリズム ,  級数 ,  最適化 ,  *ニューラルネットワーク ,  残差 ,  録画装置 ,  オーディオ機器 ,  パラメータ推定 ,  計算機アーキテクチャ ,  *神経回路網 ,  学習アルゴリズム
準シソーラス用語： Taylor級数 ,  *リカレントニューラルネットワーク ,  行動認識 ,  特徴空間 ,  局所最適解 ,  非構造化データ , 【Automatic Indexing@JST】

分類 (2件)： 自然語処理  (JE06000L) ,  パターン認識  (JE07000S)

タイトルに関連する用語 (3件)： 注意 ,  リカレントニューラルネットワーク ,  定理