実験的に実現した記憶強化ニューラルネットワーク【JST・京大機械翻訳】

Mao Ruibin; Wen Bo; Zhao Yahui; Kazemi Arman; Laguna Ann Franchesca; Neimier Michael; Hu X. Sharon; Sheng Xia; Graves Catherine E.; Strachan John Paul; Li Can

プレプリント

J-GLOBAL ID：202202221319448463 整理番号：22P0332717

実験的に実現した記憶強化ニューラルネットワーク【JST・京大機械翻訳】

Experimentally realized memristive memory augmented neural network

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (11件)： , , , , , , , , , ,
資料名：
発行年： 2022年04月15日プレプリントサーバーでの情報更新日： 2022年04月15日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

長寿命オンデバイス学習は,機械知能のための重要課題であり,これは,少数,しばしば単一,サンプルからの学習を必要とする。メモリ拡張ニューラルネットワークは目標を達成するために提案されているが,メモリモジュールはそのサイズのためにオフチップメモリに保存しなければならない。したがって,実用化は,非常に制限されてきた。新たなメモリベースの実装に関する以前の研究は,種々の構造を有する異なるモジュールが,同じチップ上に統合するのが困難であり,メモリモジュールのためのコンテンツアドレス可能メモリの小さいセンスマージンが,不整合計算の程度を非常に制限するので,スケールアップの困難さを持っている。本研究では,完全統合メムリスティブクロスバープラットフォームにおいて,全メモリ拡張ニューラルネットワークアーキテクチャを実装し,Omniglotデータセットのためのディジタルハードウェアに関する標準ソフトウェアに密接に適合する精度を達成した。成功した実証は,広く報告されたマトリックス乗算に加えて,クロスバーにおける新しい機能を実行することによって支持された。例えば,メムリスタデバイスの固有確率を利用して,クロスバーアレイに局所感受性ハッシュ操作を実行した。そのうえ,コンテンツアドレス可能メモリモジュールをクロスバーで実現して,それはまた不整合の程度をサポートする。実験的に検証されたモデルに基づくシミュレーションは,そのような実装がMini-ImageNetデータセットの1ショット学習のために効率的にスケールアップできることを示した。成功した実証は,実用的なオンデバイス寿命学習の道を開き,従来のハードウェアで不可能な新しい注意ベースアルゴリズムの可能性を開く。【JST・京大機械翻訳】

, , , , , , , , , , ,
, , , , 【Automatic Indexing@JST】

人工知能

, ,

前のページに戻る