当然，要想将这些算法商业化运行，人们不得不等待更快的计算机的诞生 。然而，直到 2010 年代中期，我们的产品被苹果、谷歌、Facebook、亚马逊、三星、百度、微软等巨头所使用，每天被数十亿台电脑使用数十亿次以上 [DL4] 。
上述大多数研究结果首次发表在慕尼黑工业大学的 FKI 系列科技报告中，我为其手动绘制了许多示意图，本文展示了其中的一部分（详见第 10、11、13、18章） 。现在，FKI 系列报告在人工智能的历史上起到了重要的作用，它介绍了许多重要的概念：
- 用于非常深的神经网络的无监督预训练（FKI-148-91 [UN0]，详见第 1 章）
- 将一个神经网络压缩/蒸馏成另一个（FKI-148-91 [UN0]，详见第 2 章）
- 长短期记忆网络（FKI-207-95 [LSTM0]，详见第 4、8 章）
- 通过学习进度最大化的神经网络实现好奇心（FKI-149-91 [AC91]，详见第 6 章）
- 端到端快速权重和学着对其它神经网络编程的神经网络（像传统计算机一样，将神经网路的存储和控制分离开来，FKI-147-91 [FAST0]，详见第 8 章）
- 通过神经网络学习顺序注意力（FKI-128-90 [ATT0]，详见第 9 章）
- 将目标定义命令作为额外的神经网络输入（FKI-128-90 [ATT0]，FKI-129-90 [HRL0]，详见第 12章）
- 分层强化学习（FKI-129-90 [HRL0]，详见第 10 章）
- 用网络调整网络/合成梯度（FKI-125-90 [NAN2]，详见第 15 章）
- 用于在线循环神经网络的三次梯度计算也在 FKI-151-91 [CUB1] 中被提出，详见第 16 章 。
- 通过循环世界模型进行规划（详见第 11 章）
- 将高维奖励信号作为额外的神经网络输入/通用值函数（详见第 13 章）
- 确定性策略梯度（详见第 14 章）
- 同时满足生成式和对抗性的神经网络（详见第5 章和第 7 章）
- 人工好奇心及相关概念 。
FKI 报告发布不久之后就通过了同行评审 。例如，在1992 年，我与伟大的 David MacKay 进行了一次有趣的竞赛，看看谁能在一年之内在「Neural Computation」（当时是我们这个领域的顶级期刊）上发表更多的文章 。到 1992 年底，我们都发表了 4 篇文章，但最终还是 David 赢了，因为他发表的论文（大多数都与用于神经网络的贝叶斯方法有关）比我长得多 。
免责声明：当然，从科学层面上来说，像发表的论文数量和 H 指数这样的指标很苍白——唯一真正重要的是研究的质量 [NAT1] 。
21. 结语
文章插图
放眼于以英语为主导的学术圈，我们往往不能看清一个事实[DLC]——深度学习是在官方语言不是英语的地方被发明的：
- 这个研究领域始于 1965 年的乌克兰（当时还属于苏联），那时诞生了第一个具有任意深度的、可以学习的神经网络 [DEEP1-2]（详见第 1 章）；
- 五年后，现代反向传播方法在苏联「隔壁的」芬兰出现（1970）[BP1]（详见第 0 章）；
- 基本的深度卷积神经网络（现在被广泛使用）架构是在 1970 年代的日本被发明的，到了 1987 年，卷积网络与权值共享和反向传播相结合 。
- 无监督或自监督的对抗性网络（两个网络在一个用于人工好奇心的极小极大博弈中对抗）起源于慕尼黑（1990，详见第 5 章），慕尼黑也是 1980 年代第一批真正的自动驾驶汽车的诞生地，1994 年进行了高速公路交通实验 。
- 基于反向传播的深度学习的根本性问题也在慕尼黑被发现（1991，详见第 3 章）[VAN1] 。第一个克服这个问题的「现代」深度学习网络也是如此，它们通过无监督的预训练 [UN1-2]（1991，详见第 1 章） 和长短时记忆网络 [LSTM0-7] 克服这个问题，LSTM 可以说是商业化程度最高的人工智能成果 [AV1]（第 4 章） 。
特别声明：本站内容均来自网友提供或互联网，仅供参考，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系，我们将在24小时内删除。