頻繁に更新する最新情報:時間の比率における意味構文解析システムの再訓練【JST・京大機械翻訳】

Lialin Vladislav; Goel Rahul; Simanovsky Andrey; Rumshisky Anna; Shah Rushin

プレプリント

J-GLOBAL ID：202202210806122245 整理番号：21P0054573

頻繁に更新する最新情報:時間の比率における意味構文解析システムの再訓練【JST・京大機械翻訳】

Update Frequently, Update Fast: Retraining Semantic Parsing Systems in a Fraction of Time

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2020年10月15日プレプリントサーバーでの情報更新日： 2021年03月22日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

現在,音声支援に配備された意味構文解析システムは,訓練に数週間を要する。これらのモデルのデータセットは,しばしば,小さな頻繁な更新,データパッチを受ける。各パッチは新しいモデルを訓練する必要がある。訓練時間を減らすために,1つは各パッチで以前に訓練されたモデルを微調整できるが,ナイーブ微調整はデータパッチで表現されないデータに関するモデル性能の破滅的忘却を示す。本研究では,壊滅的忘却を軽減する簡単な方法を提案し,微細同調による時間の10%未満のスクラッチから訓練されたモデルの性能に整合できることを示した。これを達成する鍵は超サンプリングとEWC正則化である。著者らは,Facebook TOPとSNIPSデータセットの多重分割に関する著者らの方法の有効性を実証した。【JST・京大機械翻訳】

, , , ,
, , , , 【Automatic Indexing@JST】

パターン認識 , 人工知能

, , , , ,

前のページに戻る