行列増強の埋込みによるニューラル言語モデルにおける希少語表現の強化【JST・京大機械翻訳】

Khassanov Yerbolat; Zeng Zhiping; Pham Van Tung; Xu Haihua; Chng Eng Siong

プレプリント

J-GLOBAL ID：202202200184777707 整理番号：21P0012252

行列増強の埋込みによるニューラル言語モデルにおける希少語表現の強化【JST・京大機械翻訳】

Enriching Rare Word Representations in Neural Language Models by Embedding Matrix Augmentation

出版者サイト {{ this.onShowPLink() }} 複写サービスで全文入手
高度な検索・分析はJDreamⅢで

この文献はプレプリントです。プレプリントについてはこちらをご確認ください。

著者 (5件)： , , , ,
資料名：
発行年： 2019年04月07日プレプリントサーバーでの情報更新日： 2019年07月31日
JST資料番号： O7000B 資料種別：プレプリント
記事区分：プレプリント発行国：アメリカ合衆国 (USA) 言語：英語 (EN)

※このプレプリント論文は学術誌に掲載済みです。なお、学術誌掲載の際には一部内容が変更されている可能性があります。

ニューラル言語モデル(NLM)は,単語の密な表現を学習し,確率分布関数を推定するためにそれらを用いて,強い一般化能力を達成する。しかし,希少単語の表現の学習は,NLMが信頼できない確率推定を生成するのに困難な問題である。この問題に取り組むために,事前訓練NLMにおける希少語の表現を豊かにする方法を提案し,その結果,その確率推定性能を改善した。提案方法は,事前訓練されたNLMの単語埋込みマトリックスを,他のパラメータを不変に保ちながら強化した。特に,著者らの方法は,他の意味的および構文的に類似の単語の埋込みベクトルを用いて,まれな単語の埋込みベクトルを更新する。提案手法を評価するために,事前訓練NLMにおける希少街路名を豊かにし,シンガポール英語音声認識システムから100-ベスト仮説出力を再スコア化するためにそれを使用した。強化NLMは,基準NLMと比較して,単語誤り率を6%相対的に低減し,希少語の認識精度を16%絶対に改善した。【JST・京大機械翻訳】

, , , , , ,
, , , , , 【Automatic Indexing@JST】

パターン認識 , 自然語処理

, , , , ,

前のページに戻る