文献

J-GLOBAL ID：201902217744247136   整理番号：19A0125480

仮想永続プロセッサ特殊化による動的ニューラルネットのためのレジスタ内パラメータキャッシング【JST・京大機械翻訳】

In-Register Parameter Caching for Dynamic Neural Nets with Virtual Persistent Processor Specialization

著者 (4件)： Khorasani Farzad ,  Asghari Esfeden Hodjat ,  Abu-Ghazaleh Nael ,  Sarkar Vivek
資料名： IEEE Conference Proceedings  (IEEE Conference Proceedings)
巻： 2018  号： MICRO  ページ： 377-389  発行年： 2018年 
JST資料番号： W2441A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 動的ニューラルネットワークは,固定アーキテクチャを持つネットワークと比較してより高い表現柔軟性を可能にし,自然言語処理のような入力誘起ネットワーク構造の変化を扱う問題に広く展開されている。静的ネット訓練に用いられる標準最適化の一つは,チップ上の再帰重みの持続性である。動的ネットにおいて,すべての入力のための不均一な計算グラフはGPUレジスタにおけるキャッシング再発重みを防止する。したがって,既存の解決策は,GPU SMsの劣った利用をもたらす複合カーネル発射オーバーヘッドと同様に,過剰な再帰オフチップメモリ負荷を受ける。本論文では,GPU上の動的ニューラルネットワークの訓練中に,重み行列の持続可能性を可能にするソフトウェアシステムを提案した。訓練が始まる前に,著者らの提案アプローチは,仮想パーシステントプロセッサ仕様化(VPPS)と呼ばれ,レジスタ内キャッシングと操作ルーチンを含む前方-後方伝搬カーネルを特殊化する。VVPは,提供された命令を実行するためにガイドされることができるCISCのようなベクトルプロセッサとして,永続的カーネルCTAsを仮想化する。VVPは,チップ上のキャッシング重み行列により全体のオフチップ負荷を大幅に低減し,同時に,動的ネット要求を満たす与えられた計算グラフの形状についてのいかなる仮定も行わないので,最大のporビリティを提供する。著者らは,著者らの解をDynet上に実装し,ユーザに簡単な機能呼を提供することにより,その設計の複雑さを抽出した。Voltaマイクロアーキテクチャに関する著者らの実験は,最も競争力のある解とは異なり,VPPSは小さなバッチサイズでも優れた性能を示し,訓練動的ネット上で最大6xの高速化をもたらすことを示した。Copyright 2019 The Institute of Electrical and Electronics Engineers, Inc. All rights reserved. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： *演算プロセッサ ,  高速化 ,  *レジスタ ,  ネットワーク ,  最適化 ,  計算機アーキテクチャ ,  ネットワーク構造 ,  柔軟性 ,  *ニューラルネットワーク
準シソーラス用語： 仮想化 ,  持続可能性 ,  オーバヘッド ,  持続性 ,  動的ニューラルネットワーク ,  *キャッシング , 【Automatic Indexing@JST】

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (7件)： 仮想 ,  プロセッサ ,  特殊化 ,  ニューラルネット ,  レジスタ ,  パラメータ ,  キャッシング