SemEval-2020タスク10におけるERNIE:事前訓練言語モデルによる単語強調選択の学習【JST・京大機械翻訳】

Huang Zhengjie; Feng Shikun; Su Weiyue; Chen Xuyi; Wang Shuohuan; Liu Jiaxiang; Ouyang Xuan; Sun Yu

プレプリント

J-GLOBAL ID：202202215166607087 整理番号：22P0188936

SemEval-2020タスク10におけるERNIE:事前訓練言語モデルによる単語強調選択の学習【JST・京大機械翻訳】

ERNIE at SemEval-2020 Task 10: Learning Word Emphasis Selection by Pre-trained Language Model

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (8件)： , , , , , , ,
資料名：
発行年： 2020年09月08日プレプリントサーバーでの情報更新日： 2020年09月08日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

本論文では,SemEval-2020タスク10:Emphasis Select for Writen Text for Visual Mediaで最初の場所を達成したERNIEチームにより設計したシステムについて述べた。文章を与えられた場合,自動設計に対する提案として最も重要な単語を見つける必要がある。教師なし予訓練モデルを利用して,これらのモデルを著者らのタスクに微調整した。著者らの調査の後,以下のモデルが,ERNIE2.0,XLM-ROBERTA,ROBERTAおよびALBERTというこのタスクにおいて優れた性能を達成したことを見出した。ポイントワイズ回帰損失とペアワイズランキング損失を組み合わせて,著者らのモデルを微調整するために最終Mマッチングメトリックに近い。また,付加的特徴工学とデータ増強が性能の改善を助けることができることを見出した。著者らの最良モデルは0.823の最も高いスコアを達成して,すべての種類の計量のために最初にランクした。【JST・京大機械翻訳】

, , , , ,
, 【Automatic Indexing@JST】

自然語処理 , 人工知能 , パターン認識

, , , ,

前のページに戻る