クローズ試験による機械常識の評価【JST・京大機械翻訳】

Qasemi Ehsan; Kezar Lee; Pujara Jay; Szekely Pedro

プレプリント

J-GLOBAL ID：202202210538923310 整理番号：22P0277062

クローズ試験による機械常識の評価【JST・京大機械翻訳】

Evaluating Machine Common Sense via Cloze Testing

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年01月19日プレプリントサーバーでの情報更新日： 2022年01月19日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

言語モデル(LM)は,共通感覚(CS)質問回答に対する最先端の性能の状態を示すが,この能力がCSの人間レベルのマスタを暗示するかどうかは未解決の疑問のままである。LMの限界と強度の理解は,研究者が外部CS知識を統合する新しい方法を開発することにより,これらのモデルを改善するのを助けることができる。CSの異なる側面に関するその性能を系統的に定量化するために一連の試験および測定を考案した。LMのロバスト性と信頼性を測定するために,単語埋込みと組み合わせたクローズ試験の使用を提案した。結果は,言語モデルが人間のような精度を達成する傾向があるが,それらの信頼はサブパーであることを示した。将来の研究は,記号的および分散型知識の集合のようなより複雑なシステムを構築するために,この情報を活用することができる。【JST・京大機械翻訳】

, , , ,

自然語処理 , パターン認識

, ,

前のページに戻る