文章插图
作者 | Jürgen Schmidhuber
编译 | MrBear
编辑 | 唐里
毫无疑问，深度学习是影响当今世界科技发展的最重要的技术之一 。2018 年，深度学习「三巨头」因其在这个领域的卓越贡献荣获图灵奖 。在人们感慨人工智能迎来春天的同时，也有人为「LSTM 之父」Jürgen Schmidhuber 未能分享这份荣誉而感到遗憾 。事实上，除了 LSTM 之外，深度神经网络、卷积神经网络、无监督学习、自监督学习、元学习、知识蒸馏、对抗生成网络等重要技术的诞生与 Jürgen 都有着千丝万缕的联系 。
近日，Jürgen 亲自撰文介绍了自己从上世纪90年代起在深度学习领域所做出的巨大贡献 。正如 Jürgen 所言，对于科学研究来说，「唯一真正重要的是研究的质量」 。也许多年以后，当人们回顾这段历史，我们会意识到，最重要的并不是谁发明了某项技术，而是技术本身对于人类文明发展所具有的无上价值！
Jürgen 在洋洋洒洒写了近两万字之后，总结道：「放眼于以英语为主导的学术圈，我们往往不能看清一个事实——深度学习是在官方语言不是英语的地方被发明的 。」对我们中国（当前人工智能研究领域最大非英语为母语地区）的人们来说，似乎尤其应当认识到这点 。
Jürgen 还提到：
深度学习只是人工智能研究的一小部分，它主要局限于被动的模式识别 。……而人工智能本身也只是更宏大的科学追求的一部分，它将宇宙从简单的初始条件推向越来越深不可测的复杂性 。最后，即使这个令人敬畏的过程可能也只是所有逻辑上可能存在的宇宙中更宏大、更有效的计算中的沧海一粟 。
AI 科技评论将 Jürgen 撰写的这篇文章编译了下来，以飨读者 。由于文章较长，且多为历史，如果您对过往并不感兴趣，也可以只看目录，然后迅速翻到最后的「结论」部分 。
Jürgen ：我们团队的深度学习（DL）神经网络（NN）技术推动了模式识别和机器学习的巨大变革，如今，这些技术被学术界和工业界广泛应用 。到 2020 年，我们将庆祝这场革命背后早在 30 年前在不到 12 个月的时间里相继发表出来的许多基本思想，那一年正是 1990-1991 年，是深度学习在慕尼黑工业大学诞生的「奇迹之年」！
当时，很少有人对这一研究领域感兴趣，但是四分之一个世纪过去了，基于这些思想设计的神经网络出现在了包括智能手机在内的逾 3 亿台设备上，每天会被使用数十亿次，消耗着这个世界上相当大一部分的计算资源 。
文章插图
下面，本文将总结深度学习领域在 1990-1991 年究竟发生了什么重要的事件，这不仅为行外人士提供了一个对该领域宏观的介绍，同时也为那些对该领域十分了解的专家提供了评估原始资料来源的参考 。我们还提到了一些后期工作，这些工作进一步发展了 在 1990-1991 年（在慕尼黑工业大学、瑞典人工智能实验室 IDSIA，以及其它地方）诞生的思想，本文还介绍了其他人的一些相关工作 。本文的目录如下：
0. 人工神经网络深度学习的研究背景
1. 第一个基于无监督预训练的深度学习器（1991）
2. 对一个网络进行压缩/蒸馏，用于一个网络（1991）
3. 根本性的深度学习问题（梯度弥散/爆炸，1991）
4. 长短时记忆网络（LSTM）：有监督的深度学习（基本思想诞生于 1991 年）
5. 通过对抗生成神经网络实现人工好奇心（1990）
6. 通过最大化学习进度的神经网络实现人工好奇心（1990）
特别声明：本站内容均来自网友提供或互联网，仅供参考，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系，我们将在24小时内删除。