デルタキーワード変圧器:動的に打ち上げられたマルチヘッド自己注意による変圧器のエッジへの導入【JST・京大機械翻訳】

Jelcicova Zuzana; Verhelst Marian

プレプリント

J-GLOBAL ID：202202206662345751 整理番号：22P0327901

デルタキーワード変圧器:動的に打ち上げられたマルチヘッド自己注意による変圧器のエッジへの導入【JST・京大機械翻訳】

Delta Keyword Transformer: Bringing Transformers to the Edge through Dynamically Pruned Multi-Head Self-Attention

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年03月20日プレプリントサーバーでの情報更新日： 2022年03月20日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

マルチヘッド自己注意は変圧器ネットワークのコアを形成する。しかし,入力シーケンス長に関して二次的に成長する複雑性は,資源制約付きエッジデバイス上の展開を妨げる。推論コストを減らすためにトークンを横断するデータの時間安定性を利用する動的剪定法を提案して,この課題に取り組んだ。閾値ベースの方法は,その後のトークン間の顕著な差を保持し,内部テンソルデータサイズと同様に多重累積の数を効果的に削減する。このアプローチをキーワードスポッティングのためのGoogle Speech Commandsデータセット上で評価し,その性能を基本キーワード変換機に対して比較した。著者らの実験は,元の98.4%の精度を維持しながら,操作の~80%を減少できることを示した。さらに,精度を1~4%だけ劣化させるとき,約7.5~16の因子でマルチヘッド自己注意推論をスピードアップするだけで,87~94%の操作の削減を達成できる。【JST・京大機械翻訳】

, , , , ,
, , , , , 【Automatic Indexing@JST】

パターン認識

, , , , , ,

前のページに戻る