文献

J-GLOBAL ID：202502272016339174   整理番号：25A0765490

誤字に対するTransformerベースLLMのニューロンおよびヘッドの役割調査

著者 (7件)： 辻航平 (奈良先端科学技術大学院大) ,  平岡達也 (MBZUAI) ,  鄭育昌 (奈良先端科学技術大学院大) ,  鄭育昌 (富士通) ,  荒牧英治 (奈良先端科学技術大学院大) ,  岩倉友哉 (奈良先端科学技術大学院大) ,  岩倉友哉 (富士通)
資料名： 言語処理学会年次大会発表論文集(Web)  (Proceedings of the Annual Meeting of the Association for Natural Language Processing (Web))
巻： 31st  ページ： ROMBUNNO.P2-11 (WEB ONLY)  発行年： 2025年03月03日 
JST資料番号： U0384A  ISSN： 2188-4420  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本論文では,FFN層のニューロンや,アテンション層のアテンションヘッドが誤字を認識・修復しているという仮説を立て,誤字を含む文が入力されたときに活発に働く,誤字ニューロンおよび誤字ヘッドを特定する.我々の実験結果から以下のことが判明した.1)初期層と中間層前半に誤字の認識と修復を行うニューロンが存在し,中間層前半にあるニューロンが誤字の修復の中核である.2)広く文脈情報を捉えるヘッドが誤字の修復に貢献している.3)誤字ヘッドの中には,単語の意味的な繋がりを認識するヘッドが存在した.(著者抄録)

シソーラス用語： *自然言語処理 ,  言語モデル ,  *順伝播型ニューラルネットワーク ,  *アテンション機構 ,  神経回路網モデル ,  誤り
準シソーラス用語： LLM【言語モデル】 ,  Transformer ,  *アテンション【機械学習】 ,  ニューロンモデル ,  *フィードフォワードニューラルネットワーク ,  誤字 ,  大規模言語モデル

分類 (1件)： 人工知能  (JE08000Z)

タイトルに関連する用語 (4件)： Transformer ,  ニューロン ,  役割 ,  調査