HOP:視覚および言語ナビゲーションのための履歴および順序を意識した事前訓練【JST・京大機械翻訳】

Qiao Yanyuan; Qi Yuankai; Hong Yicong; Yu Zheng; Wang Peng; Wu Qi

プレプリント

J-GLOBAL ID：202202207029676990 整理番号：22P0308241

HOP:視覚および言語ナビゲーションのための履歴および順序を意識した事前訓練【JST・京大機械翻訳】

HOP: History-and-Order Aware Pre-training for Vision-and-Language Navigation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (6件)： , , , , ,
資料名：
発行年： 2022年03月22日プレプリントサーバーでの情報更新日： 2022年03月22日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

事前訓練は,Vision-and-Language Navigation(VLN)の幾つかの最近の研究で採用されている。しかし,VLNに対する以前の事前訓練法は,将来の行動を予測する能力がなく,また, greedy欲ナビゲーションプロセスにとって不可欠な軌道コンテキストを無視する。本研究では,空間-時間視覚-テキスト対応の学習および意思決定のエージェントの能力を促進するために,過去の観察を利用し,将来の行動予測をサポートするVLN-特異的目的を持つ新しい歴史および順序認識事前訓練パラダイム(HOP)を提案した。特に,一般的に使用されるMasked言語モデリング(MLM)と軌道命令マッチング(TIM)に加えて,時間的順序情報:軌道順序モデリング(TOM)とグループ次数モデリング(GOM)をモデル化するための2つのプロキシタスクを設計した。さらに,このナビゲーション行動予測は,歴史視覚認識を考慮した,履歴(APH)による行動予測のタスクを導入することによっても強化される。4つの下流VLNタスク(R2R,REVERIE,NDH,RxR)に関する広範な実験結果は,いくつかの最先端のエージェントに対して提案した方法の有効性を実証した。【JST・京大機械翻訳】

, , , , , , , , , ,
, , , 【Automatic Indexing@JST】

パターン認識 , 音声処理 , 自然語処理 , 応用プログラミング言語 , 情報加工一般

, , , , , ,

前のページに戻る