百度搭建了Paddle（Parallel Asynchonous Distributed Deep Learning）多机GPU训练平台[31] 。将数据分布到不同机器 ， 通过Parameter Server协调各机器训练 。Paddle支持数据并行和模型并行 。
腾讯深度学习平台（Mariana）是为加速深度学习模型训练而开发的并行化平台 ， 包括深度神经网络的多GPU数据并行框架 ， 深度卷积神经网络的多GPU模型并行和数据并行框架 ， 以及深度神经网络的CPU集群框架 。Mariana基于特定应用的训练场景 ， 设计定制化的并行化训练平台 ， 支持了语音识别、图像识别 ， 并积极探索在广告推荐中的应用[32] 。
8 总结
近年来人工智能领域掀起了深度学习的浪潮 ， 从学术界到工业界都热情高涨 。深度学习尝试解决人工智能中抽象认知的难题 ， 从理论分析和应用方面都获得了很大的成功 。可以说深度学习是目前最接近人脑的智能学习方法 。
深度学习可通过学习一种深层非线性网络结构 ， 实现复杂函数逼近 ， 并展现了强大的学习数据集本质和高度抽象化特征的能力 。逐层初始化等训练方法显著提升了深层模型的可学习型 。与传统的浅层模型相比 ， 深层模型经过了若干层非线性变换 ， 带给模型强大的表达能力 ， 从而有条件为更复杂的任务建模 。与人工特征工程相比 ， 自动学习特征 ， 更能挖掘出数据中丰富的内在信息 ， 并具备更强的可扩展性 。深度学习顺应了大数据的趋势 ， 有了充足的训练样本 ， 复杂的深层模型可以充分发挥其潜力 ， 挖掘出海量数据中蕴含的丰富信息 。强有力的基础设施和定制化的并行计算框架 ， 让以往不可想象的训练任务加速完成 ， 为深度学习走向实用奠定了坚实的基矗已有Kaldi ， Cuda-convnet ， Caffe等多个针对不同深度模型的开源实现 ， Google、Facebook、百度、腾讯等公司也实现了各自的并行化框架 。
深度学习引爆的这场革命 ， 将人工智能带上了一个新的台阶 ， 不仅学术意义巨大 ， 而且实用性很强 ， 深度学习将成为一大批产品和服务背后强大的技术引擎 。
参考文献
[1] Geoffery E. Hinton, Salakhutdinov RR. Reducing the dimensionality of data with neural networks. Science. 2006 Jul 28;313(5786):504-7.
[2] ImageNet Classification with Deep Convolutional Neural Networks, Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, NIPS 2012.
[3] Q.V. Le, M.A. Ranzato, R. Monga, M. Devin, K. Chen, G.S. Corrado, J. Dean, A.Y. Ng. Building high-level features using large scale unsupervised learning. ICML, 2012.
[4] Rick Rashid, Speech Recognition Breakthrough for the Spoken, Translated Word?v=Nu-nlQqFCKg
[5] NYU “Deep Learning” Professor LeCun Will Lead Facebook’s New Artificial Intelligence Lab.
[6] Stanford deep learning tutorial
[7] A Primer on Deep Learning
[8] The Nobel Prize in Physiology or Medicine 1981.
[9] Bruno A. Olshausen & David J. Field, Emergence of simple-cell receptive field properties by learning a sparse code for natural images. Nature. Vol 381. 13 June, 1996 ~little/cpsc425/olshausen_field_nature_1996.pdf
[10] Back propagation algorithm
[11] 余凯 ， 深度学习-机器学习的新浪潮 ， Technical News程序天下事
[12] Support Vector Machine
[13] Logistic Regression
[14] Deep Networks Overview :_Overview
[15] Y. LeCun and Y. Bengio. Convolutional networks for images, speech, and time-series. In M. A. Arbib, editor, The Handbook of Brain Theory and Neural Networks. MIT Press, 1995

• 坐月子期间不喝白开水，用红豆水，米酒水来代替，这种做法对吗
• 维生素B族吃了对肝脏有影响吗
• 美国为何总是对印度“高抬贵手”，不怕印度超越美国吗
• 国家对全民健康的重视 全民预防保健与全民健康深度融合
• 男子|又见路怒症！发生口角后男子驾车多次逼停摩托致对方受伤
• 男士们对老婆去女子美容院找男技师按摩有什么看法
• 经常吃蛋炒饭，对身体有影响吗
• 入住了才知道踢脚线选错了? 选对踢脚线，装修效果才高级
• 现在有些人对蛋白粉的偏见很大，说蛋白粉喝了对肾不好，为什么
• 红糖水，直接灌根对西红柿有作用吗