文献

J-GLOBAL ID：202302260015736333   整理番号：23A3108714

世界モデルにおける未知の環境への転移

Transferring World Model to unseen task

著者 (6件)： 藤崎勇哉 (JAIST) ,  南田桂吾 (近畿大) ,  土方祥平 (名古屋工大) ,  澤野千賀 (放送大) ,  熊谷亘 (東大 大学院工学系研究科) ,  松尾豊 (東大 大学院工学系研究科)
資料名： 人工知能学会全国大会論文集(Web)  (Proceedings of the Annual Conference of JSAI (Web))
巻： 37th  ページ： ROMBUNNO.1G5-OS-21b-04(J-STAGE)  発行年： 2023年 
JST資料番号： U1701A  ISSN： 2758-7347  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： モデルベース強化学習の一つである世界モデルは,エージェントの行動から生じる環境の遷移を予測するモデルである.世界モデルを用いることでサンプル効率の向上や未知のタスクへの適応を向上させることが期待されている.しかし,世界モデルは他の強化学習モデルに比べて規模が大きく,モデルの学習時間が長くなることや,モデルの実行が計算機の制約を受けることが懸念される.そのため,モデルの学習の効率化とモデルの規模の縮小を両立させるために転移学習とモデル圧縮を適用することで世界モデルの実用性を高めることを考えた.本調査の目的は上記の2つの手法の適用による世界モデルの性能への影響を検証にある.調査の結果2つの示唆が得られた.(1)提案手法(モデル圧縮+転移学習手法)を適用した場合の方が,モデル圧縮を適用せず目的のタスク単体で学習した場合よりも性能が高くなる可能性があること.(2)提案手法はハイパーパラメタの変更に頑健な可能性があること,である.(著者抄録)

シソーラス用語： *モデル ,  *環境 ,  強化学習 ,  データベース ,  効率 ,  ダウンサイジング ,  時間 ,  *機械学習 ,  圧縮 ,  パラメータ ,  アルゴリズム ,  枝刈りアルゴリズム ,  *世界モデル
準シソーラス用語： ハイパーパラメータ ,  モデルベース ,  学習効率 ,  学習時間 ,  規模縮小 ,  *転移学習 ,  *未知環境

分類 (3件)： 人工知能  (JE08000Z) ,  計算理論  (JB02000A) ,  計算機シミュレーション  (JE11000H)

タイトルに関連する用語 (2件)： 世界モデル ,  環境