スウォーッシュ!ラトル!  Thump!-音が音を聴く【JST・京大機械翻訳】

Gandhi Dhiraj; Gupta Abhinav; Pinto Lerrel

プレプリント

J-GLOBAL ID：202202202362681002 整理番号：22P0167040

スウォーッシュ!ラトル! Thump!-音が音を聴く【JST・京大機械翻訳】

Swoosh! Rattle! Thump! -- Actions that Sound

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2020年07月03日プレプリントサーバーでの情報更新日： 2020年07月03日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

賢明な知的エージェントは,それらの世界の豊富な物理的理解を構築するために,すべての感覚の相互作用を把握する必要がある。ロボット工学では,視覚および触覚知覚の使用において大きな進歩が見られた。しかし,著者らは,しばしば重要な感覚を無視した。これは主として行動と音の相互作用を捕捉するデータの欠如による。本研究では,音とロボット作用の間の相互作用の最初の大規模研究を行った。これを行うために,ロボットプラットフォームTilt-Botを用いて60の物体に対して15,000の相互作用を有する最大の利用可能な音響行動ビジョンデータセットを作成した。物体を傾斜させ,それらをロボットトレイの壁に衝突させることにより,豊富な4チャネルオーディオ情報を収集した。このデータを用いて,音と行動の間の相乗効果を調べ,3つの重要な洞察を示した。第1に,音は細粒の物体クラス情報,例えば,音は金属 wから金属スクリューを区別できる。第2に,音は行動の因果効果に関する情報も含んでおり,すなわち,生成された音を与えられた場合,どのような行動が物体に適用されるかを予測できる。最後に,オーディオ埋込みに由来するオブジェクト表現は,陰的物理特性を示す。以前に見えないオブジェクトにおいて,相互作用を通して生成されたオーディオ埋込みは,受動視覚埋込みよりも24%良いフォワードモデルを予測できることを示した。プロジェクトビデオとデータはhttps://dhiraj100892.github.io/swoosh/である。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

ロボットの運動・制御 , 人工知能

前のページに戻る