連続変圧器:オンライン推論のための冗長性フリー注意【JST・京大機械翻訳】

Hedegaard Lukas; Bakhtiarnia Arian; Iosifidis Alexandros

プレプリント

J-GLOBAL ID：202202221135028852 整理番号：22P0275428

連続変圧器:オンライン推論のための冗長性フリー注意【JST・京大機械翻訳】

Continual Transformers: Redundancy-Free Attention for Online Inference

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年01月17日プレプリントサーバーでの情報更新日： 2023年01月24日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

それらの共通形式における変換器は,時間において1トークンよりも全体トークンシーケンス上で動作するために本質的に制限される。その結果,時系列データに関するオンライン推論の間のそれらの使用は,連続したトークンシーケンスにおける重複のために,かなりの冗長性を必要とする。本研究では,連続入力ストリーム上で効率的なオンライントークンバイトーク推論を行うための変換者を可能にする,スケールドドット-ダクト注意の新しい定式化を提案した。重要なことに,著者らの修正は計算の次数に純粋であり,一方,出力と学習重みは元の変換器エンコーダのそれらと同一である。THUMOS14,TVSeies,およびGTZANデータセットに関する実験による連続変換器エンコーダを,顕著な結果で検証する:著者らの連続1および2ブロックアーキテクチャは,予測性能を維持しながら,それぞれ,63xおよび2.6xまでの予測当たりの浮動点演算を減らした。【JST・京大機械翻訳】

, , , , , , , ,
, , , 【Automatic Indexing@JST】

オペレーティングシステム

, , , ,

前のページに戻る