文献

J-GLOBAL ID：202502265804323518   整理番号：25A0765356

新聞記事からつくる 時事と社会に強い日本語LLM

著者 (25件)： 服部翔 (東京科大) ,  服部翔 (産業技術総合研) ,  水木栄 (東京科大) ,  水木栄 (産業技術総合研) ,  藤井一喜 (東京科大) ,  藤井一喜 (産業技術総合研) ,  中村泰士 (東京科大) ,  中村泰士 (産業技術総合研) ,  塩谷泰平 (東京科大) ,  植木快 (朝日新聞) ,  新妻巧朗 (朝日新聞) ,  川畑輝 (朝日新聞) ,  田森秀明 (朝日新聞) ,  MA Youmi (東京科大) ,  前田航希 (東京科大) ,  大井聖也 (東京科大) ,  大井聖也 (産業技術総合研) ,  齋藤幸史郎 (東京科大) ,  岡本拓己 (東京科大) ,  石田茂樹 (東京科大) ,  横田理央 (東京科大) ,  横田理央 (産業技術総合研) ,  高村大也 (産業技術総合研) ,  岡崎直観 (東京科大) ,  岡崎直観 (産業技術総合研)
資料名： 言語処理学会年次大会発表論文集(Web)  (Proceedings of the Annual Meeting of the Association for Natural Language Processing (Web))
巻： 31st  ページ： ROMBUNNO.C10-1 (WEB ONLY)  発行年： 2025年03月03日 
JST資料番号： U0384A  ISSN： 2188-4420  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 大規模言語モデル(LLM)の事前学習において新聞記事はどのような恩恵をもたらすのか?本研究では,LLMの日本語継続事前学習における新聞記事データの有用性,およびその効果を引き出すための手法について報告する.はじめに,新聞記事のみを用いてLLMの継続事前学習を行ったが,テキスト量と多様性の不足のためか,十分な効果を得ることができなかった.そこで,ドメイン適応の既存研究を参考に,新聞記事をシードとしてLLMで合成データを生成し,継続事前学習のデータに追加した.実験の結果,合成データを併用することにより前述の問題を解消し,新聞記事に関連する分野を中心に,LLMの日本語能力が向上した.(著者抄録)

シソーラス用語： *ニュース ,  *言語モデル ,  機械学習 ,  *ドメイン適応 ,  テキストデータ ,  文書 ,  日本語
準シソーラス用語： LLM【言語モデル】 ,  テキスト生成 ,  ニュース記事 ,  合成データ ,  *事前学習 ,  *新聞記事 ,  *大規模言語モデル

分類 (2件)： 人工知能  (JE08000Z) ,  自然語処理  (JE06000L)

タイトルに関連する用語 (3件)： 新聞記事 ,  社会 ,  日本語