文献

J-GLOBAL ID：202202229094374470   整理番号：22A1043208

Word2Vec:最適ハイパーパラメータおよび自然言語処理下流タスクに対するその影響【JST・京大機械翻訳】

Word2Vec: Optimal hyperparameters and their impact on natural language processing downstream tasks

著者 (3件)： Adewumi Tosin ( ML Group, EISLAB, Department of Computer Science, Electrical and Space Engineering, Lulea University of Technology, 97187, Lulea, Sweden) ,  Liwicki Foteini ( ML Group, EISLAB, Department of Computer Science, Electrical and Space Engineering, Lulea University of Technology, 97187, Lulea, Sweden) ,  Liwicki Marcus ( ML Group, EISLAB, Department of Computer Science, Electrical and Space Engineering, Lulea University of Technology, 97187, Lulea, Sweden)
資料名： Open Computer Science (Web)  (Open Computer Science (Web))
巻： 12  号： 1  ページ： 134-141  発行年： 2022年 
JST資料番号： U8095A  ISSN： 2299-1093  資料種別： 逐次刊行物 (A)
記事区分： 原著論文  発行国： ドイツ (DEU)  言語： 英語 (EN)

抄録/ポイント： Word2Vecは,自然言語処理タスクのための顕著なモデルである。最近の最先端の深層ニューラルネットワークにおける分散埋込み(語ベクトル)において同様のインスピレーションが見出される。しかし,ハイパーパラメータの誤った組合せは,貧弱な品質の埋込みを作り出すことができる。本研究の目的は,ハイパーパラメータのWord2Vec最適組合せが存在し,様々な組合せを評価する事である。それらを公開された元のWord2Vec埋め込みと比較した。固有および外因性(ダウンストリーム)評価の両者を,エンティティ認識および感情分析を含めて実行した。著者らの主な貢献は,最良モデルが通常タスク特異的であり,高い類似性スコアが必ずしもF1スコアと正相関せず,性能はデータサイズだけに依存しないことを示した。時間,エネルギー,および環境を節約するための倫理的考察がなされたならば,比較的小さなコーパスは,いくつかの場合において,ちょうど,または,より良好であるかもしれない。ポイント後の埋込みの寸法サイズの増加は,貧弱な品質または性能をもたらす。さらに,比較的小さなコーパスを用いて,著者らは,元のモデルと比較して,より良いWordSimスコア,対応するSpearman相関,およびより良い下流性能(有意性テストで)を得て,それは100億語コーパスで訓練された。Please refer to the publisher for the copyright holders. Translated from English into Japanese by JST.【JST・京大機械翻訳】

シソーラス用語： ベクトル ,  評価 ,  長さ ,  *自然言語処理 ,  類似性 ,  順相 ,  埋込み【挿入】 ,  コーパス
準シソーラス用語： エンティティ ,  ハイパーパラメータ ,  感情分析 ,  ディープニューラルネットワーク , 【Automatic Indexing@JST】

著者キーワード (5件)： Word2Vec ,  ハイパーパラメータ ,  埋込み ,  名前付きエンティティ認識 ,  感情分析

分類 (2件)： 自然語処理  (JE06000L) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (4件)： ハイパーパラメータ ,  自然言語処理 ,  下流 ,  タスク