文献

J-GLOBAL ID：202102248181907979   整理番号：21A1422940

単語の重要度に応じてパラメタ数可変な単語分散表現の学習

著者 (4件)： 露木浩章 (早稲田大 理工学術院) ,  小川哲司 (早稲田大 理工学術院) ,  小林哲則 (早稲田大 理工学術院) ,  林良彦 (早稲田大 理工学術院)
資料名： 言語処理学会年次大会発表論文集(Web)
巻： 27th  ページ： ROMBUNNO.A1-3 (WEB ONLY)  発行年： 2021年03月 
JST資料番号： U0384A  ISSN： 2188-4420  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： ・単語分散表現の圧縮を目的として,単語の重要度に応じてパラメータ数を可変とするゲート機構を考察。
・特に,識別に寄与する重要語に多くのパラメータを割り振り,モデルの精度を落とすことなく単語ベクトルのパラメータ数を削減する手法を提案。
・同手法は,単語ベクトルからバイナリコードを得るオートエンコーダ,および入力単語ベクトルに応じた長さ以上の要素をバイナリコードから削除するゲート機構で構成。
・提案手法はモデルの精度を落とすことなく,従来手法を上回る圧縮率を達成。

シソーラス用語： 単語 ,  表現 ,  *自然言語処理 ,  *キーワード ,  アルゴリズム ,  言語 ,  語彙 ,  学習 ,  実験 ,  *機械学習 ,  ニューラルネットワーク
準シソーラス用語： LSTM ,  オートエンコーダ ,  感情語 ,  事前学習 ,  重要語 ,  評価実験 ,  分散表現

分類 (2件)： 自然語処理  (JE06000L) ,  人工知能  (JE08000Z)

タイトルに関連する用語 (5件)： 単語 ,  重要度 ,  パラメタ ,  分散表現 ,  学習