強化学習を用いたスポーツロボットの大車輪運動の獲得とその行動形態の考察

坂井直樹; 川辺直人; 原正之; 豊田希; 藪田哲郎

文献

J-GLOBAL ID：201002209417066623 整理番号：10A0322924

強化学習を用いたスポーツロボットの大車輪運動の獲得とその行動形態の考察

Acquisition of Robotic Giant-swing Motion Using Reinforcement Learning and Its Consideration of Motion Forms

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手 {{ this.onShowCLink("http://jdream3.com/copy/?sid=JGLOBAL&noSystem=1&documentNoArray=10A0322924&COPY=1") }}
高度な検索・分析はJDreamⅢで {{ this.onShowJLink("http://jdream3.com/lp/jglobal/index.html?docNo=10A0322924&from=J-GLOBAL&jstjournalNo=S0104A") }}

著者 (5件)： , , , ,
資料名：
巻： 46 号： 3 ページ： 178-187 発行年： 2010年03月31日
JST資料番号： S0104A ISSN： 0453-4654 CODEN： KJSRA 資料種別：逐次刊行物 (A)
記事区分：原著論文発行国：日本 (JPN) 言語：日本語 (JA)

著者らは強化学習を適用したロボットの行動獲得を試みてきた。これまでの研究対象は,芋虫型ロボットやヒトデ型ロボットであり,それらはロボットの動作を準静的に拘束し,状態遷移が決定論的に行なわせることによってマルコフ決定過程の性質が満たされる静的なタスク(マルコフ性)であった。本論文では,状態遷移が環境とロボットとの相互作用の不確定性の影響のために確率的になり,マルコフ決定過程の性質が満たされない動的なタスク(非マルコフ性)の行動獲得へと議論を発展させるため,ロボットの大車輪運動に着目した.多自由度開ループ制御機構のロボットによる大車輪運動は遠心力,コリオリ力,重力による非線形性をもつ。また手首に相当する第1関節が非駆動関節であり,非ホロノミック拘束となっているため,非ホロノミック拘束を有する劣駆動システムに分類される。本論文で用いたロボットの大車輪運動は,サンプリングの粗さから速度の正負が切り換わるときに起こる速度状態の不完全知覚問題,位置状態に腕部の角度のみを用いることによるロボットの姿勢の不完全知覚問題,アクチュエータが位置制御機能しか有せずトルク制御機能を有していないこと,およびベアリングの摩擦などに起因するさまざまな非マルコフ性に関連する動的なタスクの問題を,Q値の時間平均化と報酬を操作することにより克服した。運動開始からタスク達成までに,報酬としては2つのモードが存在し,始めは強制振動をするような動き,その後足先を上げるように学習することで実現を可能とした。獲得した行動形態を見ると3つの段階が存在し,第2,3段階で確率的な停滞ループを形成しているところがある。このループは静的なタスクでも見られるものであるが,動的なタスクの場合には,現在の状態と行動からつぎの状態が予測できないために,そのループは1本ではなく確率的な挙動を示す遷移ループとなる。そのようなループから抜け出るには特定の状態になる必要があるが,特定の状態となっても動的なタスクであるためにループから抜け出せるかどうかは確率的となった。そのため,大車輪運動を達成するまでの時間は一定とはならなかった。

, , , , , , , , , ,
, , ,

ロボットの運動・制御

引用文献 (17件)：

本山. 強化学習によって獲得される芋虫型ロボットの前進行動形態に関する考察. 日本機械学会論文集C編. 2006, 75, 749, 3525-3532
鄭. 強化学習による二次元移動ロボットの行動獲得とその学習知識の操作. 日本機械学会論文集C編. 2009, 72, 723, 122-132
南澤. アクロボットの振り上げ倒立制御と特異点問題. 日本ロボット学会誌. 2002, 20, 2, 85-88
山浦. 3リンク鉄棒ロボットの大車輪運動と制御. 日本機械学会論文集C編. 2005, 71, 707, 2289-2296
梶原. 鉄棒ロボットの数理解析と運動制御. 日本ロボット学会誌. 2000, 18, 4, 515-520

, , , , , ,

前のページに戻る