文献

J-GLOBAL ID：202502248057617779   整理番号：25A0765851

模倣学習による大規模言語モデルの指示チューニング

著者 (24件)： MA Youmi (東京科大) ,  水木栄 (東京科大) ,  水木栄 (産業技術総合研) ,  藤井一喜 (東京科大) ,  藤井一喜 (産業技術総合研) ,  中村泰士 (東京科大) ,  中村泰士 (産業技術総合研) ,  大井聖也 (東京科大) ,  大井聖也 (産業技術総合研) ,  島田比奈理 (東京科大) ,  塩谷泰平 (東京科大) ,  齋藤幸史郎 (東京科大) ,  前田航希 (東京科大) ,  服部翔 (東京科大) ,  服部翔 (産業技術総合研) ,  岡本拓己 (東京科大) ,  石田茂樹 (東京科大) ,  横田理央 (東京科大) ,  横田理央 (産業技術総合研) ,  横田理央 (NII LLMC) ,  高村大也 (産業技術総合研) ,  岡崎直観 (東京科大) ,  岡崎直観 (産業技術総合研) ,  岡崎直観 (NII LLMC)
資料名： 言語処理学会年次大会発表論文集(Web)  (Proceedings of the Annual Meeting of the Association for Natural Language Processing (Web))
巻： 31st  ページ： ROMBUNNO.Q8-21 (WEB ONLY)  発行年： 2025年03月03日 
JST資料番号： U0384A  ISSN： 2188-4420  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 指示チューニングを効率的に行う手段として,高性能な大規模言語モデル(LLM)の挙動を模倣する手法が注目を集めている.既存研究ではGPT-4を模倣した学習が主流であるが,ライセンスの制限が厳しいうえ,汎用的な知見が得られにくい.本稿では複数のオープンなLLMを模倣先とし,模倣学習の有効性を検証する.実験結果により,Llama-3.1-Swallow-8B-v0.1にGemma-2-27B-ITの模倣学習をさせることで,13B以下のモデルの中でトップクラスの性能を達成した.また,性能は高いものの模倣学習の効果が限定的なLLMや,模倣学習で習得しにくい能力の存在を明らかにした.(著者抄録)

シソーラス用語： *言語モデル ,  *学習 ,  日本語 ,  自然言語処理 ,  データセット ,  カテゴリー ,  比較
準シソーラス用語： 性能比較 ,  大規模言語モデル ,  追加学習 ,  *模倣学習

分類 (1件)： 自然語処理  (JE06000L)

タイトルに関連する用語 (3件)： 模倣学習 ,  大規模言語モデル ,  チューニング