文献

J-GLOBAL ID：201802229689558896   整理番号：18A1373782

重み行列の対称性および巡回性の仮定に基づく双アフィン分類器の冗長性削減

著者 (5件)： 松野智紀 (奈良先端科学技術大学院大) ,  林克彦 (大阪大 産科研) ,  石原敬大 (奈良先端科学技術大学院大) ,  真鍋陽俊 (ワークスアプリケーションズ) ,  松本裕治 (奈良先端科学技術大学院大)
資料名： 情報処理学会研究報告(Web)  (IPSJ Technical Report (Web))
巻： 2018  号： NL-236  ページ： Vol.2018-NL-236,No.8,1-7 (WEB ONLY)  発行年： 2018年07月02日 
JST資料番号： U0451A  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 現在,二項関係のモデル化に注意機構を導入するための手法として双アフィン変換が大きな注目を集めている。例えば,係り受け解析の分野ではDozat and Manning(2017)によって提案された深層双アフィン構文解析器(Deep Biaffine parser)がEnglish Penn TreebankやCoNLL2017shared taskでグラフ型構文解析器としての最高精度を達成した。一方で,双アフィン変換の重み行列(双線型変換項)はn²個の過剰なパラメータを持つため(nは次元数),学習データが少ない場合などにモデルが過学習することが報告されている。本稿では深層双アフィン構文解析器における双アフィン変換の重み行列に対称性あるいは巡回性という仮定を加えることで,その冗長性の削減を試みた。CoNLL2017shared taskのデータセットを使った実験から,重み行列に巡回行列を用いたモデルはシステム全体のパラメータ数を約18%削減できる上,ほとんどの言語でベースラインと同程度かそれ以上の解析精度を達成できることがわかった。(著者抄録)

シソーラス用語： *構文分析 ,  行列 ,  *アフィン変換 ,  *機械学習 ,  計算量 ,  冗長性 ,  ニューラルネットワーク ,  文法 ,  高速Fourier変換
準シソーラス用語： LSTMネットワーク ,  係り受け解析 ,  構文解析 ,  重み行列 ,  巡回行列 ,  対称行列

分類 (1件)： 自然語処理  (JE06000L)

引用文献 (21件)：

• Dzmitry Bahdanau, Kyunghyun Cho, and Yoshua Bengio. Neural machine translation by jointly learning to align and translate. CoRR, abs/1409.0473, 2014. URL http://arxiv.org/abs/1409.0473.
• Wenlin Chen, James Wilson, Stephen Tyree, Kilian Weinberger, and Yixin Chen. Compressing neural networks with the hashing trick. In International Conference on Machine Learning, pages 2285-2294, 2015.
• Yu Cheng, Felix X. Yu, Rogério Schmidt Feris, Sanjiv Kumar, Alok N. Choudhary, and Shih-Fu Chang. An exploration of parameter redundancy in deep networks with circulant projections. In 2015 IEEE International Conference on Computer Vision, ICCV 2015, Santiago, Chile, December 7-13, 2015, pages 2857-2865, 2015. DOI: 10.1109/ICCV.2015.327. URL https://doi.org/10.1109/ICCV.2015.327.
• Timothy Dozat and Christopher D. Manning. Deep biaffine attention for neural dependency parsing. CoRR, abs/1611.01734, 2016. URL http://arxiv.org/abs/1611.01734.
• Robert M Gray et al. Toeplitz and circulant matrices: A review. Foundations and Trends⃝R in Communications and Information Theory, 2(3):155-239, 2006.

タイトルに関連する用語 (6件)： 行列 ,  対称性 ,  巡回 ,  仮定 ,  分類器 ,  冗長性