文献

J-GLOBAL ID：202402251775871187   整理番号：24A0859415

日本語意味役割タスクにおいて複数TokenIDが与える影響

著者 (2件)： 曽和晃太郎 (岡山大) ,  竹内孔一 (岡山大 大学院)
資料名： 言語処理学会年次大会発表論文集(Web)  (Proceedings of the Annual Meeting of the Association for Natural Language Processing (Web))
巻： 30th  ページ： ROMBUNNO.P6-6 (WEB ONLY)  発行年： 2024年03月04日 
JST資料番号： U0384A  ISSN： 2188-4420  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本研究では,Byte-Level BPEアルゴリズムを採用したトークナイザのエンコードによって,1つのトークンから複数のトークンIDが生成される場合に日本語意味役割タスクに与える影響について調査した.その結果,二つの日本語意味役割タスクそれぞれにおいて複数のトークンIDを持つデータが各タスクの精度に与える影響を明らかにし,各タスクにおける有効なデータの形を示した.(著者抄録)

シソーラス用語： *トークン ,  *自然言語処理 ,  形態素解析 ,  言語モデル
準シソーラス用語： *トークナイザ ,  意味役割 ,  概念フレーム ,  大規模言語モデル ,  *日本語意味役割タスク ,  日本語処理

分類 (1件)： 自然語処理  (JE06000L)

タイトルに関連する用語 (4件)： 日本語 ,  意味 ,  役割 ,  タスク