抄録/ポイント：
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
基礎モデルは,現在,深層学習における刺激的なアプリケーションのほとんどを動力源とし,変圧器アーキテクチャとそのコア注意モジュールに基づいてほぼ普遍的である。線形注意,ゲート畳込みおよび再帰モデル,および構造化状態空間モデル(SSM)のような多くのサブ二次形式時間アーキテクチャが,長いシーケンスにおけるトランスフォーマの計算非効率性を扱うために開発されているが,それらは言語のような重要なモダリティに関する注意と同様に実行されていない。そのようなモデルの鍵となる弱点は,コンテンツベース推論を実行できないことであり,いくつかの改善を行うことである。第一に,入力の弱さを入力の関数にSSMパラメータに単純に割当て,モデルが現在のトークンに依存するシーケンス長次元に沿って選択的に情報を伝搬または忘却することを可能にする。第2に,この変更が効率的な畳込みの使用を妨げるにもかかわらず,筆者らは再帰モードにおけるハードウェア意識並列アルゴリズムを設計した。これらの選択的SSMを,注意またはMLPブロック(Mamba)さえも無しで,単純化エンドツーエンドニューラルネットワークアーキテクチャに統合した。Mambaは高速推論(トランスフォーマよりも5倍高いスループット)とシーケンス長の線形スケーリングを享受し,その性能は実データ上で最大百万長のシーケンスを改善する。一般的な配列モデルのバックボーンとして,Mambaは言語,オーディオ,およびゲノミクスなどのいくつかのモダリティにわたって最先端の性能を達成する。言語モデリングにおいて,提案Mamba-3Bモデルは,プレトレーニングおよびダウンストリーム評価の両者において,同一サイズのトランスフォーマよりも性能的に優れており,トランスフォーマのそのサイズの2倍のマッチングを行う。【JST機械翻訳】
