抄録/ポイント：
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
メモリ増強ニューラルネットワーク(MANN)は,外部メモリの助けを借りて多くのタスクにおいてより良い推論性能を提供する。最近開発した微分可能ニューラルコンピュータ(DNC)は,複雑なデータ構造を表し,長期依存性を学習するのに優れていることが示されているMANNである。DNCの高性能は,以前に使用されたコンテンツベースの注意機構に加えて,新しい歴史ベースの注意機構から導かれる。歴史ベースの機構は,既存のニューラルネットワーク(NN)またはMANN加速器によってサポートされない様々な新しい計算プリミティブおよび状態メモリを必要とする。タイルに分散メモリを持つタイル,歴史ベースのメモリアクセスエンジンであるHiMAを提示した。HiMAは通信待ち時間を低減し,スケーラビリティを改善するためにマルチモードネットワークオンチップ(NoC)を組み込んだ。最適サブマトリックスワイズメモリ分割戦略を適用して,NoCトラフィックの量を減らした。そして,2段階利用ソート法は,計算速度を改善するために,分散タイルを利用する。HiMAを基本的にスケーラブルにするために,DNC-Dと呼ばれるDNCの分散型バージョンを作成し,大域的メモリ出力を生成するために,訓練可能な加重加算を持つ局所メモリにほぼすべてのメモリ操作を適用できるようにした。2つの近似技術,利用スキミングとソフトマックス近似を提案し,ハードウェア効率をさらに強化した。HiMAプロトタイプをRTLで作成し,40nm技術で合成した。シミュレーションにより,HiMA走行DNCおよびDNC-Dは,最先端のMANN加速器に対して,6.47xおよび39.1xの高速度,22.8xおよび164.3xのより良い面積効率,および6.1xおよび61.2xのより良いエネルギー効率を示した。Nvidia 3080Ti GPUと比較して,HiMAは,DNCとDNC-Dを走るとき,それぞれ437xと2646xまで高速化を示した。【JST・京大機械翻訳】
