文献

J-GLOBAL ID：202402245536669490   整理番号：24A0859523

敵対的生成ネットワークを用いた記号的知識蒸留

著者 (7件)： 日浦隆博 (奈良先端科学技術大学院大) ,  日浦隆博 (理研 GRP) ,  河野誠也 (理研 GRP) ,  河野誠也 (奈良先端科学技術大学院大) ,  CONTRERAS Angel Garcia (理研 GRP) ,  吉野幸一郎 (理研 GRP) ,  吉野幸一郎 (奈良先端科学技術大学院大)
資料名： 言語処理学会年次大会発表論文集(Web)  (Proceedings of the Annual Meeting of the Association for Natural Language Processing (Web))
巻： 30th  ページ： ROMBUNNO.P10-22 (WEB ONLY)  発行年： 2024年03月04日 
JST資料番号： U0384A  ISSN： 2188-4420  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： モデル(LLM)は多くの自然言語処理タスクで顕著な能力を持つものの,知識推論のようなタスクでは依然として性能に課題があり,LLMが持つカバレージを維持しつつ知識推論の性能を上げる方法が模索されている。その中でも記号的知識蒸留は,大規模言語モデルの出力を知識グラフとして転移しつつ知識推論モデルの学習に用いるもので,非常に膨大な知識グラフの獲得が期待できる。しかし,LLMの出力にはしばしば意味的・文法的に誤ったデータが多数含まれ,それらを除去するフィルタが必要となることが知られている。本研究では,敵対的な学習方法を導入し,知識の生成(選択)と蒸留を同時に学習することで,追加のアノテーションを必要とせずにこうしたフィルタを実現する手法を提案する。(著者抄録)

シソーラス用語： 人工知能 ,  言語モデル ,  *機械学習 ,  自然言語処理 ,  *グラフ ,  推論 ,  *情報抽出 ,  *知識グラフ ,  *知識蒸留 ,  *敵対的生成ネットワーク
準シソーラス用語： AI【人工知能】 ,  LLM ,  大規模言語モデル ,  知識抽出

分類 (2件)： 人工知能  (JE08000Z) ,  自然語処理  (JE06000L)

タイトルに関連する用語 (3件)： 敵対的生成ネットワーク ,  記号 ,  知識蒸留