歯ブラシは厨房で何をするのか?【JST・京大機械翻訳】

Henlein Alexander; Mehler Alexander

プレプリント

J-GLOBAL ID：202202203249639225 整理番号：22P0330095

歯ブラシは厨房で何をするのか?【JST・京大機械翻訳】

What do Toothbrushes do in the Kitchen? How Transformers Think our World is Structured

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (2件)： ,
資料名：
発行年： 2022年04月12日プレプリントサーバーでの情報更新日： 2022年04月12日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

変圧器ベースのモデルはNLPにおいて現在支配的である。それらは,多くの点で静的モデルに基づくアプローチより優れている。この成功は,変圧器によって生成された言語モデルにおける多くのバイアスを明らかにする研究を促進した。本論文では,どの範囲の変圧器ベース言語モデルがオブジェクト関係に関する知識の抽出を可能にするか(XがYで生じ,XがZ,動作AがXを含む)をいかに可能にするかを調べるために,バイアスに関する本研究を利用した。この目的のために,文脈化されたモデルをそれらの静的対応物と比較した。この比較を多数の類似性測度と分類器の適用に依存する。結果は,まず,異なる類似性測度と組み合わせたモデルが,抽出を可能にする知識の量に関して大いに異なることを示した。第2に,著者らの結果は,類似性測度が分類器ベースの手法よりはるかに悪いことを示唆する。第3に,驚くことに,静的モデルは,いくつかの場合において,さらによく,文脈化されたモデルと同様に,ほとんど機能することを示した。【JST・京大機械翻訳】

, , , , , , ,
, 【Automatic Indexing@JST】

変圧器

前のページに戻る