文献

J-GLOBAL ID：201902236156443285   整理番号：19A2029570

ベイジアンNNのHW実装に向けたサンプリング手法の検討

著者 (8件)： 平山侑樹 (北大) ,  廣瀬一俊 (北大) ,  安藤洸太 (北大) ,  植吉晃大 (北大) ,  浅井哲也 (北大) ,  本村真人 (東京工大) ,  高前田伸也 (北大) ,  高前田伸也 (JST-さきがけ)
資料名： 電子情報通信学会技術研究報告  (IEICE Technical Report (Institute of Electronics, Information and Communication Engineers))
巻： 119  号： 147(CPSY2019 17-40)(Web)  ページ： 197-202 (WEB ONLY)  発行年： 2019年07月17日 
JST資料番号： S0532B  ISSN： 0913-5685  資料種別： 会議録 (C)
記事区分： 原著論文  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 現在,主流となっているディープラーニングの問題点として過学習,ノイズに対する頑健性,学習に膨大なデータを必要とすること,過度な自信を持った予測が挙げられる.この問題を解決できる手法として注目されているのがニューラルネットワーク(NN;Neural Network)にベイズ的手法を取り入れたベイジアンニューラルネットワーク(BNN;Bayesian Neural Network)である.従来のNNでは実数値で表現されていた重みに対し,BNNでは重みに確率分布を仮定する.これにより,予測を分布として得ることが可能となり,予測がどれほど不確かであるのかを評価することができる.しかし,BNNはNNと比べ,計算量,パラメータが増大する.本研究では,BNNのHW実装に向け,逆関数法のLUT,線形関数による近似を用いたサンプリング手法を提案し,精度,予測分散を保ちつつ,重みのサンプリングに必要となる演算を削減した.(著者抄録)

シソーラス用語： *ニューラルネットワーク ,  ネットワーク ,  *Bayes推定 ,  確率分布 ,  実装 ,  *ハードウェア ,  標本抽出 ,  分散【variance】
準シソーラス用語： Bayesianネットワーク ,  ハードウェア実装 ,  サンプリング【統計】

分類 (1件)： 人工知能  (JE08000Z)

引用文献 (9件)：

• C. Blundell, J. Cornebise, K. Kavukcuoglu, and D. Wierstra, “Weight uncertainty in neural networks,” Proceedings of the 32Nd International Conference on International Conference on Machine Learning - Volume 37, pp.1613-1622, ICML’15, JMLR.org, 2015. http://dl.acm.org/citation.cfm?id=3045118.3045290
• Y. Gal and Z. Ghahramani, “Dropout as a bayesian approximation: Representing model uncertainty in deep learning,” Proceedings of The 33rd International Conference on Machine Learning, eds. by M.F. Balcan and K.Q. Weinberger, vol.48, pp.1050-1059, Proceedings of Machine Learning Research, PMLR, New York, New York, USA, 20-22 Jun 2016. http://proceedings.mlr.press/v48/gal16.html
• Y. LeCun and C. Cortes, “The MNIST database of handwritten digits,” http://yann.lecun.com/exdb/mnist/.
• D.P. Kingma and M. Welling, “Auto-Encoding Variational Bayes,” arXiv e-prints, p.arXiv:1312.6114, Dec. 2013.
• D.P. Kingma, T. Salimans, and M. Welling, “Variational dropout and the local reparameterization trick,” Advances in Neural Information Processing Systems 28, eds. by C. Cortes, N.D. Lawrence, D.D. Lee, M. Sugiyama, and R. Garnett, pp.2575-2583, Curran Associates, Inc., 2015. http://papers.nips.cc/paper/5666-variational-dropout-and-the-local-reparameterization-trick.pdf

タイトルに関連する用語 (4件)： ジアン ,  実装 ,  サンプリング ,  手法