KOBEST:重要なタスクの韓国均衡評価【JST・京大機械翻訳】

Kim Dohyeong; Jang Myeongjun; Kwon Deuk Sin; Davis Eric

プレプリント

J-GLOBAL ID：202202217723919383 整理番号：22P0328963

KOBEST:重要なタスクの韓国均衡評価【JST・京大機械翻訳】

KOBEST: Korean Balanced Evaluation of Significant Tasks

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2022年04月09日プレプリントサーバーでの情報更新日： 2022年04月09日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

良く定式化されたベンチマークは,多様なモデルの客観的で正確な評価を可能にするので,自然言語処理(NLP)分野でのスパーリング進展において決定的な役割を果たす。現代の言語モデル(LM)は,より精巧で精巧になってきているので,言語知識と推論を必要とするより困難なベンチマークが提案されている。しかし,これらのベンチマークの大部分は英語をサポートし,他の低資源言語に対するベンチマークを構築するために大きな努力が必要である。この目的のために,5つの韓国言語下流タスクから成る重要なタスク(KoBEST)の韓国バランス評価という新しいベンチマークを提案した。専門的韓国語彙は,高度な韓国言語知識を必要とするタスクを設計した。さらに,著者らのデータを人間によって純粋に注釈付けして,高いデータ品質を保証するために徹底的にレビューした。また,ベースラインモデルとヒューマンパフォーマンス結果を提供した。著者らのデータセットはHugging面で利用可能である。【JST・京大機械翻訳】

, , , , , , , , , , , , ,
, 【Automatic Indexing@JST】

自然語処理 , パターン認識 , 情報加工一般

, , ,

前のページに戻る