文献

J-GLOBAL ID：202502248788336565   整理番号：25A0355044

敵対的学習による記号的知識蒸留のフィルタ構築とその評価

著者 (8件)： 日浦隆博 (奈良先端科学技術大学院大) ,  日浦隆博 (理研) ,  河野誠也 (奈良先端科学技術大学院大) ,  河野誠也 (理研) ,  CONTRERAS Angel Garcia (理研) ,  吉野幸一郎 (奈良先端科学技術大学院大) ,  吉野幸一郎 (理研) ,  吉野幸一郎 (東京科大)
資料名： 情報処理学会研究報告(Web)  (IPSJ Technical Report (Web))
巻： 2024  号： NL-262  ページ： Vol.2024-NL-262,No.9,1-9 (WEB ONLY)  発行年： 2024年12月05日 
JST資料番号： U0451A  資料種別： 会議録 (C)
記事区分： 短報  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 大規模言語モデル(LLM)は多くの自然言語処理タスクで顕著な性能を実現しているが,知識推論のようなタスクにおいては依然として出力する知識の精度に課題が残っている.これに対して,古典的な知識グラフとLLMの双方を活用して,知識間の関係性を明示的に学習させるアプローチが注目されている.特に記号的知識蒸留は,LLMから出力されたサンプリング結果を知識グラフとして転移しつつ知識推論モデルの学習に使用する手法で,知識グラフの大規模化が期待できる.しかしLLMの出力には意味的・文法的に誤った出力が一定の割合で含まれるため,それらを除去するフィルタが必要となる.本研究では,フィルタリング(選択)を行うモデルと,選択されたデータを評価するモデルを敵対的に学習することで,知識グラフに存在する正例のみからLLMの出力をフィルタし知識グラフを大規模化する枠組みを提案する.本研究では実際に敵対的学習によりフィルタを獲得し,既存の教師あり学習に基づくフィルタとの比較評価および分析を行った。(著者抄録)

シソーラス用語： 言語モデル ,  *敵対的学習 ,  *知識蒸留 ,  知識グラフ ,  フィルタリング
準シソーラス用語： *記号的知識蒸留 ,  *大規模言語モデル

分類 (2件)： 人工知能  (JE08000Z) ,  自然語処理  (JE06000L)

タイトルに関連する用語 (5件)： 敵対的学習 ,  記号 ,  知識蒸留 ,  構築 ,  評価