文章插图
目前 ， 深度学习在几个主要领域都获得了突破性的进展：在语音识别领域 ， 深度学习用深层模型替换声学模型中的混合高斯模型（Gaussian Mixture Model, GMM） ， 获得了相对30%左右的错误率降低；在图像识别领域 ， 通过构造深度卷积神经网络（CNN）[2] ， 将Top5错误率由26%大幅降低至15% ， 又通过加大加深网络结构 ， 进一步降低到11%；在自然语言处理领域 ， 深度学习基本获得了与其他方法水平相当的结果 ， 但可以免去繁琐的特征提取步骤 。可以说到目前为止 ， 深度学习是最接近人类大脑的智能学习方法 。

文章插图
2深层模型的基本结构

文章插图
深度学习采用的模型为深层神经网络（Deep Neural Networks ， DNN）模型 ， 即包含多个隐藏层（Hidden Layer ， 也称隐含层）的神经网络（Neural Networks ， NN） 。深度学习利用模型中的隐藏层 ， 通过特征组合的方式 ， 逐层将原始输入转化为浅层特征 ， 中层特征 ， 高层特征直至最终的任务目标 。

文章插图
深度学习源于人工神经网络的研究 ， 先来回顾一下人工神经网络 。一个神经元如下图所示[6]：

文章插图


文章插图
这个神经元接受三个输入x1 ， x2 ， x3 ， 神经元输出为

文章插图
其中W1, W2, W3和b为神经元的参数 ， f(z)称为激活函数 ， 一种典型的激活函数为Sigmoid函数 ， 即
其图像为
神经网络则是多个神经元组成的网络 ， 一个简单的神经网络如下图所示
使用圆圈来表示神经网络的输入 ， 标上“+1”的圆圈称为偏置节点 ， 也就是截距项 。神经网络最左边的一层叫做输入层（本例中 ， 有3个输入单元 ， 偏置单元不计）；最右的一层叫做输出层（本例中 ， 输出层有2个节点）；中间的节点叫做隐藏层（本例中 ， 有2个隐藏层 ， 分别包含3个和2个神经元 ， 偏置单元同样不计） ， 因为不能在训练样本集中观测到它们的值 。神经元网络中的每一条连线对应一个连接参数 ， 连线个数对应网络的参数个数（本例共有４&TImes;３ ＋ ４&TImes;２ ＋３×２＝２６个参数） 。求解这个的神经网络 ， 需要（x(i) ， y(i)）的样本集 ， 其中x(i)是3维向量 ， y(i)是2维向量 。
上图算是一个浅层的神经网络 ， 下图是一个用于语音识别的深层神经网络 。具有1个输入层 ， 4个隐藏层和1个输出层 ， 相邻两层的神经元全部连接 。
3 选择深层模型的原因
为什么要构造包含这么多隐藏层的深层网络结构呢？背后有一些理论依据：
3.1天然层次化的特征
对于很多训练任务来说 ， 特征具有天然的层次结构 。以语音、图像、文本为例 ， 层次结构大概如下表所示 。
以图像识别为例 ， 图像的原始输入是像素 ， 相邻像素组成线条 ， 多个线条组成纹理 ， 进一步形成图案 ， 图案构成了物体的局部 ， 直至整个物体的样子 。不难发现 ， 可以找到原始输入和浅层特征之间的联系 ， 再通过中层特征 ， 一步一步获得和高层特征的联系 。想要从原始输入直接跨越到高层特征 ， 无疑是困难的 。

• 坐月子期间不喝白开水，用红豆水，米酒水来代替，这种做法对吗
• 维生素B族吃了对肝脏有影响吗
• 美国为何总是对印度“高抬贵手”，不怕印度超越美国吗
• 国家对全民健康的重视 全民预防保健与全民健康深度融合
• 男子|又见路怒症！发生口角后男子驾车多次逼停摩托致对方受伤
• 男士们对老婆去女子美容院找男技师按摩有什么看法
• 经常吃蛋炒饭，对身体有影响吗
• 入住了才知道踢脚线选错了? 选对踢脚线，装修效果才高级
• 现在有些人对蛋白粉的偏见很大，说蛋白粉喝了对肾不好，为什么
• 红糖水，直接灌根对西红柿有作用吗