7. 用于无监督数据建模的对抗性网络（1991）
8. 端到端的可微「快速权值」：能学着对神经网络进行编程的网络（1991）
9. 通过神经网络学习顺序注意力机制（1990）
10. 分层强化学习（1990）
11. 通过循环神经世界模型规划并进行强化学习（1990）
12. 将目标定义命令作为额外的神经网络输入（1990）
13. 作为神经网络输入/通用值函数的高维奖励信号（1990）
14. 确定性的策略梯度（1990）
15. 用网络调整网络/合成梯度（1990）
16. 用于在线循环神经网络的时间复杂度为 O(n3) 的梯度计算
17. 深度神经「热交换器」（1990）
18. 我的博士毕业论文（1991）
19. 从无监督预训练到纯粹的监督式学习（1995-1995，,2006-2011）
20. 令人惊讶的关于人工智能的 FKI 系列技术报告（1990 年代）
21. 结语
0. 人工神经网络深度学习的研究背景
人类大脑拥有约 1,000 亿个神经元，平均每个神经元都会与其余的 10,000 个神经元相连 。在这些神经元中，有一些是为其它神经元提供数据（声音、视觉、触觉、疼痛、饥饿）的输入神经元 。另一些神经元则是控制肌肉的输出神经元 。而大多数神经元则隐藏在输入和输出之间的处理过程中，这也正是我们进行思考的地方 。显然，大脑是通过改变连接的强度或权重进行学习的，这样可以决定神经元之间互相影响的强度，而这种机制似乎也对人们一生中积累的经验进行了编码 。
我们的人工神经网络（NN）的工作原理与上述人类的神经系统相类似，它能够比先前的各种方法更好地进行学习，从而完成语音识别、手写数字识别或视频识别，最小化损失、最大化受益，甚至自动驾驶汽车等任务[DL1][DL4] 。
文章插图
大多数现代的商业应用都重点关注让神经网络能够模仿人类「老师」的监督学习[DL1][DL4] 。经过了多次试验，Seppo Linnainmaa 在 1970 年提出了一种基于梯度的计算方法[BP1]，我们现在通常将其称为反向传播算法或自动微分的逆序模式，该算法被用来逐渐减弱某些神经网络连接，同时增强其它的连接，从而使神经网络与带有监督信号的「老师」的行为越来越相似（相关变体见[BPA][BPB][BP2]） 。
如今，那些最为强大的神经网络往往具有很深的结构，也就是说，他们有许多层神经元或若干后续的计算阶段 。然而，在 1980 年代，基于梯度的训练方法并不适用于深度神经网络，仅在浅层神经网络上有较好的表现[DL1][DL2] 。
文章插图
这种「深度学习问题」在循环神经网络（RNN，于 1945 年首次被非正式地提出[MC43]，于 1956 年被正式提出[K56]——相关变体见[PDA2]）上体现的最明显 。循环神经网络与人类大脑相类似，但与限制更多的前馈神经网络（FNN）不同，RNN 具有反馈连接 。这种结构使 RNN 成为了功能强大、通用性强，可以进行并行计算的计算模型，它能够处理任意长度的输入序列（例如，语音或视频） 。
RNN 基本上可以实现所有可以在你的笔记本电脑上运行的程序 。如果我们想要构建一个通用人工智能系统，则其底层的计算基础必然是类似于 RNN 的结构，因为 FNN 从根本上存在不足 。RNN 与 FNN 的关系，就好比通用计算机和专用计算器的关系 。
尤其是，不同于 FNN，RNN 基本上可以处理任意深度的问题[DL1] 。然而，在 1980 年代，早期的 RNN 实际上并不能学习较深的问题 。我希望克服这一缺点，实现基于 RNN 的「通用深度学习」 。
特别声明：本站内容均来自网友提供或互联网，仅供参考，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系，我们将在24小时内删除。