変圧器は基礎オントロジーを符号化するか?自然言語における抽象クラスの探索【JST・京大機械翻訳】

Jullien Mael; Valentino Marco; Freitas Andre

プレプリント

J-GLOBAL ID：202202219142784129 整理番号：22P0279422

変圧器は基礎オントロジーを符号化するか?自然言語における抽象クラスの探索【JST・京大機械翻訳】

Do Transformers Encode a Foundational Ontology? Probing Abstract Classes in Natural Language

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年01月25日プレプリントサーバーでの情報更新日： 2022年01月25日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

プロービング(または診断分類)の方法論的支援により,最近の研究は,変換者が構文的および意味的情報をある程度符号化することを証明した。研究のこのラインに続いて,本論文は,次の研究質問に答えるという目標で,抽象化極値に意味的プロービングを取り入れることを目的とし,現代の変換機ベースのモデルは,根底にある基礎オントロジーを反映する。この目的のために,変換者ベースのモデルが抽象的意味情報を符号化するかどうかを調べるために,系統的基礎オントロジー(FO)プロービング方法論を提示した。異なる事前訓練と微調整領域に続いて,3つの異なる補完的FO標識実験にわたる大規模言語モデルの多様な集合の広範な評価を示した。特に,以下の結論を示し,議論した。(1)プロービング結果は,変換器ベースのモデルが,事前訓練過程の間に,Foundational Ontologyに関連する情報を偶然に符号化することを示している。(2)ロバストFOタガー(90%の正確性)は,この知識で効率的に構築できる。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , 【Automatic Indexing@JST】

人工知能 , 自然語処理

, , , , , , ,

前のページに戻る