文献

J-GLOBAL ID：202502276830332037   整理番号：25A0765310

Swallowコーパスv2:教育的な日本語ウェブコーパスの構築

著者 (23件)： 服部翔 (東京科大) ,  服部翔 (産業技術総合研) ,  岡崎直観 (東京科大) ,  岡崎直観 (産業技術総合研) ,  岡崎直観 (NII LLMC) ,  水木栄 (東京科大) ,  水木栄 (産業技術総合研) ,  藤井一喜 (東京科大) ,  藤井一喜 (産業技術総合研) ,  中村泰士 (東京科大) ,  中村泰士 (産業技術総合研) ,  大井聖也 (東京科大) ,  大井聖也 (産業技術総合研) ,  塩谷泰平 (東京科大) ,  齋藤幸史郎 (東京科大) ,  MA Youmi (東京科大) ,  前田航希 (東京科大) ,  岡本拓己 (東京科大) ,  石田茂樹 (東京科大) ,  横田理央 (東京科大) ,  横田理央 (産業技術総合研) ,  横田理央 (NII LLMC) ,  高村大也 (産業技術総合研)
資料名： 言語処理学会年次大会発表論文集(Web)  (Proceedings of the Annual Meeting of the Association for Natural Language Processing (Web))
巻： 31st  ページ： ROMBUNNO.C1-5 (WEB ONLY)  発行年： 2025年03月03日 
JST資料番号： U0384A  ISSN： 2188-4420  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 大規模言語モデル(LLM)の事前学習では,高品質なテキストを用いることが望ましい.本研究では,文書の「教育的価値」に着目した2種類の軽量な分類器を構築して,各文書に品質スコアを付与し,大規模日本語ウェブコーパスから高品質なテキストを抽出する手法を提案する.実験により,提案手法を適用することで,同等の学習計算規模で日本語の知識に関するLLMの能力をより効率的に向上できることを示した.また,分類器の特性比較,ヒューリスティック・ルールの調整,学習のエポック数を増やす実験などを通じて,提案手法の実用性やLLM構築の最良慣行について検証する.(著者抄録)

シソーラス用語： *言語モデル ,  学習 ,  機械学習 ,  *コーパス ,  日本語 ,  分類装置 ,  Webコンテンツ ,  文書 ,  *品質
準シソーラス用語： LLM【言語モデル】 ,  *Webコーパス ,  Web文書 ,  事前学習 ,  *大規模言語モデル ,  *分類器【機械学習】

分類 (2件)： 自然語処理  (JE06000L) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (5件)： コーパス ,  教育 ,  日本語 ,  ウェブコーパス ,  構築