文献

J-GLOBAL ID：202202290522994001   整理番号：22A0930208

DOTA:スケーラブルな変圧器加速のための弱い注意の検出およびオミット【JST・京大機械翻訳】

DOTA: detect and omit weak attentions for scalable transformer acceleration

著者 (6件)： Qu Zheng (University of California at Santa Barbara, USA) ,  Liu Liu (University of California at Santa Barbara, USA) ,  Tu Fengbin (University of California at Santa Barbara, USA) ,  Chen Zhaodong (University of California at Santa Barbara, USA) ,  Ding Yufei (University of California at Santa Barbara, USA) ,  Xie Yuan (University of California at Santa Barbara, USA)
資料名： ACM Proceedings  (ACM Proceedings)
号： ASPLOS 2022  ページ： 14-26  発行年： 2022年 
JST資料番号： D0698C  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： アメリカ合衆国 (USA)  言語： 英語 (EN)

抄録/ポイント： 変圧器ニューラルネットワークは,言語理解,画像処理,および生成モデリングにわたる多くのアプリケーションにおいて,主要な性能を実証してきた。印象的な性能にもかかわらず,長いシーケンス変換機処理は,自己注意の二次計算複雑度とメモリ消費のために高価である。本論文では,スケーラブル変換器推論の課題を効果的に扱うアルゴリズムアーキテクチャ共設計であるDOTAを提案した。注意グラフにおけるすべての接続が等しく重要であるという洞察に基づいて,著者らは,実行時間の弱い接続を正確に検出して,省略するために,変換機モデルによって軽量検出器を共同最適化することを提案した。さらに,提案した注意検出メカニズムを用いてエンドツーエンド変換機加速のための特殊化システムアーキテクチャを設計した。広範囲のベンチマークに関する実験は,他の解よりもDOTAの優れた性能を示した。要約すれば,DOTAは,GPUとカスタマイズされたハードウェアに対して,それぞれ152.6xと4.5xの性能高速化と桁のエネルギー効率改善を達成した。Please refer to this article’s citation page on the publisher website for specific rights information. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： 記憶装置 ,  最適化 ,  時間 ,  *変圧器 ,  ニューラルネットワーク ,  画像処理 ,  モデリング ,  計算量 ,  エンドツーエンド方式 ,  応用プログラム ,  ハードウェア ,  推論 ,  ベンチマーク ,  計算機アーキテクチャ ,  *注意
準シソーラス用語： 実行時間 , 【Automatic Indexing@JST】

著者キーワード (3件)： SW-HW共設計 ,  スパースアーキテクチャ ,  変圧器の加速

分類 (1件)： 図形・画像処理一般  (JE04010I)

タイトルに関連する用語 (5件)： DOTA ,  変圧器 ,  加速 ,  注意 ,  オミット