構造化予測のための埋込みの自動連接【JST・京大機械翻訳】

Wang Xinyu; Jiang Yong; Bach Nguyen; Wang Tao; Huang Zhongqiang; Huang Fei; Tu Kewei

プレプリント

J-GLOBAL ID：202202207192024682 整理番号：21P0053519

構造化予測のための埋込みの自動連接【JST・京大機械翻訳】

Automated Concatenation of Embeddings for Structured Prediction

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (7件)： , , , , , ,
資料名：
発行年： 2020年10月10日プレプリントサーバーでの情報更新日： 2021年06月01日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

事前訓練された文脈化埋込みは構造化予測タスクのための強力な単語表現である。最近の研究は,より良い単語表現が,異なるタイプの埋込みを連結することによって得られることを見出した。しかしながら,最良の連結表現を形成するための埋込みの選択は,通常,タスクと候補埋込みの収集に依存して変化し,埋込み型の数が増え続けることは,より困難な問題になる。本論文では,構造化予測タスクのための埋込みのより良い連結を見つけるプロセスを自動化するために,ニューラルアーキテクチャ探索に関する最近の進展によって触発された定式化に基づいて,Embeddings(ACE)の自動化コンカテネーションを提案する。具体的には,コントローラは,タスクに対する個々の埋込み型の有効性のその現在の信念に従って,埋込みの連結を交互にサンプルし,報酬に基づく信念を更新する。コントローラのパラメータを最適化し,タスクモデルの精度に基づく報酬を計算するため,強化学習における戦略に従い,タスクデータセット上で入力としてサンプリングした連結を与えられた。6つのタスクと21のデータセットに関する経験的結果は,著者らのアプローチが,すべての評価において微調整された埋込みによって,強いベースラインより優れて,最先端の性能を達成することを示した。【JST・京大機械翻訳】

, , , , , , ,
, , 【Automatic Indexing@JST】

オペレーティングシステム , 自然語処理

, ,

前のページに戻る