COMPASS:自律システムのための対照的マルチモーダルプレトレーニング【JST・京大機械翻訳】

Ma Shuang; Vemprala Sai; Wang Wenshan; Gupta Jayesh K.; Song Yale; McDuff Daniel; Kapoor Ashish

プレプリント

J-GLOBAL ID：202202201231714448 整理番号：22P0312438

COMPASS:自律システムのための対照的マルチモーダルプレトレーニング【JST・京大機械翻訳】

COMPASS: Contrastive Multimodal Pretraining for Autonomous Systems

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2022年02月19日プレプリントサーバーでの情報更新日： 2022年02月19日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

タスクとドメインを一般化する学習表現は,自律システムにとってまだ必要である。タスク駆動アプローチが魅力的であるが,各アプリケーションに特有な設計モデルは,特に異なる環境において異なるタスクから生じる高可変マルチモーダル入力空間を扱う場合,限られたデータに直面して困難である。タスク固有のモデルおよび既存の予訓練手法の限界を克服するために,初めての汎用予訓練パイプライン,AutonomouSシステム(COMPASS)のためのCOntrasiveマルチモーダルプレトレーニングを導入した。COMPASSは,自律システムに対する本質的な情報と,異なるモダリティの特性を考慮することにより,マルチモーダルグラフを構築する。このグラフを通して,マルチモーダル信号が接続され,2つの因数化した時空間潜在空間,すなわち「運動パターン空間」と「電流状態空間」に写像される。各潜在空間におけるマルチモーダル対応からの学習により,COMPASSは,時間動力学,幾何学,および意味論のような必要な情報をモデル化する状態表現を生成する。COMPASSを大規模マルチモーダルシミュレーションデータセットTartanAir cite{tartanair 2020 iros}にプレトレインし,それをドローンナビゲーション,車両レース,および視覚オドメトリータスクで評価した。実験は,COMPASSが3つのシナリオすべてに取り組むことができ,また,環境および実世界データに一般化できることを示している。【JST・京大機械翻訳】

, , , , , , , , , , , , ,
, , 【Automatic Indexing@JST】

パターン認識 , 図形・画像処理一般 , 人工知能

, ,

前のページに戻る