O-ViT:直交ビジョン変圧器【JST・京大機械翻訳】

Fei Yanhong; Liu Yingjie; Wei Xian; Chen Mingsong

プレプリント

J-GLOBAL ID：202202200194957193 整理番号：22P0281293

O-ViT:直交ビジョン変圧器【JST・京大機械翻訳】

O-ViT: Orthogonal Vision Transformer

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年01月28日プレプリントサーバーでの情報更新日： 2022年02月16日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

自然言語処理における自己注意機構の大きな成功に触発されて,Vision変換機(ViT)はそれを画像パッチシーケンスに創造的に適用し,実行不可能な性能を達成する。しかし,ViTのスケールされたドット製品自己注意は,元の特徴空間の構造に,スケール曖昧さをもたらす。この問題に取り組むために,幾何学的観点からViTを最適化するために,直交視覚変換器(O-ViT)と名付けた新しい方法を提案した。O-ViTは,自己注意ブロックのパラメータをノルム保持直交多様体に制限し,それは特徴空間の幾何学を保つことができる。さらに,O-ViTは直交制約と安価な最適化オーバヘッドの両方を達成し,直交グループとそのLie代数間の射影マッピングを採用することによって,コスト最適化オーバヘッドを達成した。O-ViTの妥当性と実験を実証するために,画像認識タスクに関する比較実験を行い,O-ViTがViTの性能を3.6%まで向上できることを示した。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

図形・画像処理一般 , 通信理論一般 , パターン認識 , 数値計算

前のページに戻る