スパースデータ設定のためのドメイン適応:バートを用いて何を獲得すべきか?【JST・京大機械翻訳】

Sedinkina Marina; Schmitt Martin; Schuetze Hinrich

プレプリント

J-GLOBAL ID：202202208427600976 整理番号：22P0323147

スパースデータ設定のためのドメイン適応:バートを用いて何を獲得すべきか?【JST・京大機械翻訳】

Domain Adaptation for Sparse-Data Settings: What Do We Gain by Not Using Bert?

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (3件)： , ,
資料名：
発行年： 2022年03月31日プレプリントサーバーでの情報更新日： 2022年03月31日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

多くのNLPの実際的成功は訓練データのアベイラビリティに依存する。しかし,実世界シナリオでは,多くのアプリケーションドメインが制限され,特異的であるため,訓練データはしばしば不足している。本研究では,この問題を扱うための異なる方法を比較し,特定の領域に対して利用可能な少量のラベル付き訓練データのみが存在するとき,NLPアプリケーションを構築するためのガイドラインを提供した。事前訓練された言語モデルによる転送学習は,タスクを横断する他の方法よりも性能が優れているが,代替は,はるかに少ない計算努力を必要とし,従って,金銭的および環境的コストを大幅に削減する。175Kまで訓練できるモデルを含むいくつかのそのような代替案の性能トレードオフを調べ,単一GPUを必要としない。【JST・京大機械翻訳】

, , , , , , , , ,
, 【Automatic Indexing@JST】

人工知能 , 自然語処理

前のページに戻る