文献

J-GLOBAL ID：201302254822123887   整理番号：13A1436254

「Deep Learning(深層学習)」〔第3回〕大規模Deep Learning(深層学習)の実現技術

著者 (1件)： 岡野原大輔 (Preferred Infrastructure)
資料名： 人工知能学会誌  (Journal of the Japanese Society for Artificial Intelligence)
巻： 28  号： 5  ページ： 785-792  発行年： 2013年09月01日 
JST資料番号： X0330A  ISSN： 0912-8085  資料種別： 逐次刊行物 (A)
記事区分： 解説  発行国： 日本 (JPN)  言語： 日本語 (JA)

抄録/ポイント： 本論文では,階層が広いだけでなく,対象データ数,モデルサイズが非常に大きい深層学習を解説し,分散並列処理での実現方法について述べた。まず,マシン並列による分散並列計算として多くの機械学習手法を実現しているMapReduceは,逐次的な最適化を行う場合の同期処理のオーバヘッドが大きいのでGoogleのDistBeliefを紹介した。DistBeliefでは各訓練事例ごとに確率的勾配降下法(SGD)を用いて更新を行うオンライン学習Downpour SGDと,すべての訓練事例をもとに更新を行うバッチ学習Sandblaster L-BFGS(Limited-memory Broyden-Fletcher-Goldfarb-Shanno)をサポートする。また,GPU(Graphical Processing Unit)を利用して大規模ニューラルネットを実現する手法や,モデル自身を変える高速化ReLU(Rectified Linear Units)について述べた。さらに,より精緻な学習の制御技術として過学習を防ぐDropOut,複数層や指定型分布族以外の活性化関数を利用する場合に対するMaxOutを解説した。最後に,実装の正しさをチェックする方法,ニューラルネットのハイパーパラメータの最適化におけるRandom Searchの有効性,SGDによる最適化における学習率の調整などについて述べた。

シソーラス用語： *機械学習 ,  分散処理 ,  *並列処理 ,  最適化 ,  同期処理 ,  *最急降下法 ,  確率モデル ,  高速化 ,  *ニューラルネットワーク ,  パラメタリゼーション ,  評価試験 ,  *深層学習 ,  改変 ,  数学モデル
準シソーラス用語： *分散並列処理 ,  オーバヘッド ,  *確率的勾配降下法 ,  勾配降下法

分類 (4件)： 人工知能  (JE08000Z) ,  ディジタル計算機方式一般  (JC02010O) ,  その他のオペレーションズリサーチの手法  (KA03070E) ,  ニューロコンピュータ  (JC06010Q)

タイトルに関連する用語 (2件)： 深層学習 ,  大規模