GREEK-BERT:ギリシアの観光地を訪ねて【JST・京大機械翻訳】

Koutsikakis John; Chalkidis Ilias; Malakasiotis Prodromos; Androutsopoulos Ion

プレプリント

J-GLOBAL ID：202202200111744282 整理番号：22P0185379

GREEK-BERT:ギリシアの観光地を訪ねて【JST・京大機械翻訳】

GREEK-BERT: The Greeks visiting Sesame Street

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (4件)： , , ,
資料名：
発行年： 2020年08月27日プレプリントサーバーでの情報更新日： 2020年09月03日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

BERTとそのバリアントのような変換ベースの言語モデルは,一般的ベンチマークデータセット(例えばGLUE,SQUAD,RACE)に関するいくつかの下流自然言語処理(NLP)タスクにおいて最先端の性能を達成した。しかし,これらのモデルは,主に資源豊富な英語言語に適用された。本論文では,現代のギリシャのためのモノリンガルBERTベースの言語モデルであるGREEK-BERTを提示した。3つのNLPタスク,即ち,エンティティ認識,および自然言語推論,という3つのNLPタスクにおけるその性能を評価し,最先端の性能を得た。興味深いことに,2つのベンチマークにおいて,GREEK-BERTは,大きなマージン(5%-10%)によって,事前訓練単語埋込みで動作する浅い神経基準と同様に,2つの多言語変換器ベースモデル(M-BERT,XLM-R)より性能が優れていた。最も重要なことに,GREEK-BERTと著者らの訓練コードは,GREEK-BERTが下流NLPタスクに対して微調整できる方法を示すコードと共に,公開されている。著者らは,これらの資源が,現代のギリシャのNLP研究と応用を押し上げることを期待する。【JST・京大機械翻訳】

, , , , , , , , , , , ,
, , , 【Automatic Indexing@JST】

自然語処理

, ,

前のページに戻る