文献

J-GLOBAL ID：202402261506947521   整理番号：24A2136135

LLMに日本語テキストを学習させる意義

Advantages of Training LLMs on Japanese Text

著者 (15件)： 齋藤幸史郎 (東京工大) ,  水木栄 (東京工大) ,  水木栄 (産業技術総合研) ,  大井聖也 (東京工大) ,  中村泰士 (東京工大) ,  塩谷泰平 (東京工大) ,  前田航希 (東京工大) ,  MA Youmi (東京工大) ,  服部翔 (東京工大) ,  藤井一喜 (東京工大) ,  岡本拓己 (東京工大) ,  石田茂樹 (東京工大) ,  高村大也 (産業技術総合研) ,  横田理央 (東京工大) ,  岡崎直観 (東京工大)
資料名： 情報処理学会研究報告(Web)  (IPSJ Technical Report (Web))
巻： 2024  号： NL-261  ページ： Vol.2024-NL-261,No.12,1-15 (WEB ONLY)  発行年： 2024年08月27日 
JST資料番号： U0451A  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 日本語のテキストを学習することの意義,そして日本語に強い大規模言語モデル(LLM)の特徴は何であろうか.本研究では,35種類の日本語・英語のLLMを日英19件のタスクで統一的に評価することで,言語とタスク性能の関連性を定量的に分析した.その結果,次の三つの知見を得た.まず,タスク性能の相関行列を分析し,一般教養やコード生成,算術推論は英語と日本語の性能がほぼ比例することを見出した(4.2節で詳述する).次に,相関行列の主成分分析により,有意義な主成分を三つ確認した.第1主成分は日英問わず大半のタスクに寄与する基礎能力的な因子,第2主成分は日本語質問応答と英日翻訳に寄与する因子,第3主成分は算術推論とコード生成に寄与する因子である(4.3節で詳述する).最後に,主成分得点と計算予算の対数との関係を分析し,第1主成分は英語向け計算予算,第2主成分は日本語向け計算予算に比例することを見出した(ここで,計算予算=パラメータ数×学習トークン数であり,4.4節で詳述する).以上の分析から,LLMに日本語テキストを学習させることは,主に日本に関する知識の獲得および英日翻訳の向上という効果をもたらすことが示唆された.(著者抄録)

シソーラス用語： *言語モデル ,  *機械翻訳 ,  主成分分析 ,  人工知能 ,  性能評価
準シソーラス用語： システム性能評価 ,  *ニューラル機械翻訳 ,  英日機械翻訳 ,  英日翻訳 ,  生成AI ,  *大規模言語モデル ,  日本語テキスト

分類 (2件)： 自然語処理  (JE06000L) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (2件)： 日本語 ,  学習