抄録/ポイント:
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
BERTとそのバリアントのような変換ベースの言語モデルは,一般的ベンチマークデータセット(例えばGLUE,SQUAD,RACE)に関するいくつかの下流自然言語処理(NLP)タスクにおいて最先端の性能を達成した。しかし,これらのモデルは,主に資源豊富な英語言語に適用された。本論文では,現代のギリシャのためのモノリンガルBERTベースの言語モデルであるGREEK-BERTを提示した。3つのNLPタスク,即ち,エンティティ認識,および自然言語推論,という3つのNLPタスクにおけるその性能を評価し,最先端の性能を得た。興味深いことに,2つのベンチマークにおいて,GREEK-BERTは,大きなマージン(5%-10%)によって,事前訓練単語埋込みで動作する浅い神経基準と同様に,2つの多言語変換器ベースモデル(M-BERT,XLM-R)より性能が優れていた。最も重要なことに,GREEK-BERTと著者らの訓練コードは,GREEK-BERTが下流NLPタスクに対して微調整できる方法を示すコードと共に,公開されている。著者らは,これらの資源が,現代のギリシャのNLP研究と応用を押し上げることを期待する。【JST・京大機械翻訳】