抄録/ポイント：
抄録/ポイント
文献の概要を数百字程度の日本語でまとめたものです。
部分表示の続きは、JDreamⅢ(有料)でご覧頂けます。
J-GLOBALでは書誌(タイトル、著者名等)登載から半年以上経過後に表示されますが、医療系文献の場合はMyJ-GLOBALでのログインが必要です。
分散深層学習システムは,ユーザ時間制約の下での入力データの大きな体積とのモデル訓練における通信帯域幅に厳しい要求を課している。通信は,地球訓練したモデルを維持するための訓練データとパラメータサーバのための作業者ノードのクラスタ間で主に起こる。高速収束のために従事者ノードとパラメータサーバは迅速に更新を放送と陳腐を最小化するパラメータの十億交換を頻繁にしなければならない。帯域幅オンデマンド計算における専用GPUの導入でも高くなった。RDMAを利用できるネットワークは十分に高い帯域幅を提供する大きな可能性を持っているが,MPIのような,TCP/IPまたは特定のプログラミングモデルにその現在の使用は帯域幅ボトルネックを破壊するその能力を制限している。本研究では,iRDMA,GPUとCPUベース訓練を支援する高速ネットワーク環境のための最適化されたRDMAベースパラメータサーバアーキテクチャを提案した。天然非同期RDMA動詞を利用するネットワークライン速度を達成するために,作業者とパラメータサーバ両側に通信処理コストを最小化した。iRDMAは負荷分散およびフォールトトレランスの便利な担体としてその使いやすさのためのPOSIX互換ファイルAPIとしてパラメータサーバシステムを明らかにした。IBMの深層学習プラットフォームでiRDMAを実装した。実験結果は,著者らの設計は,画像認識と言語分類を含む深い学習応用は分散コンピューティング資源を用いることにより,収束速度と訓練精度加速度にほぼ直線的改善を達成するのを助けることができることを示した。システムの観点から,iRDMAは効率的に分散訓練プロセスの中でモデルを同期させるための高速ネットワークの約95%ネットワーク帯域幅を利用することができる。Copyright 2018 The Institute of Electrical and Electronics Engineers, Inc. All Rights reserved. Translated from English into Japanese by JST【Powered by NICT】
