神经网络II
在这节课中，HugoLarochelle会解释和对比多种机器学习方式，包括监督学习、无监督学习、半监督学习、迁移学习、多任务学习、域适应、one-shot学习、zero-shot学习等；然后讲师会介绍如何根据具体问题设计神经网络的架构 。最后，讲师会介绍神经网络研究中出现的奇异或难以理解的现象，包括对抗样本、损失函数非凸性、数据记忆能力、数据压缩能力、初始化方法的影响甚至第一个训练样本的显著影响，以及灾难性遗忘现象等 。
CNN导论
在这节课中，来自谷歌研究院的JonathonShlens首先探讨了计算机视觉面临的主要挑战，简言之就是：我们不清楚人类视觉系统是怎么工作的，而现在我们也不清楚计算机视觉系统是怎么工作的，但这个领域的确在进步 。卷积神经网络就是受到了生物视觉系统的工作方式的启发而提出来的 。讲师强调了自然图像的统计需要遵循不变性，即对图像变换包括平移、剪裁、旋转、缩放等的不变性 。这也正是卷积神经网络能成功的一大原因之一，它天然地引入了平移不变性，从而相对于全连接网络能显著减少参数数量；并且其架构和输入图像尺寸是无关的，因而更容易扩展 。
在解释了基本概念的基础上，讲师进一步介绍了几个经典的卷积神经网络架构，比如LeNet 。计算机视觉的进步也离不开大规模数据集和算力的发展，尤其是ImageNet数据集的提出 。讲师还强调了归一化方法的规范和稳定作用，并概述了多种归一化方法，包括批归一化、层归一化、实力归一化、组归一化等 。然后讲师从增加深度的角度探讨了卷积架构的演变，并从图像特征不变性的角度探讨了迁移学习方法的发展，尤其是目标检测和分割任务上的架构演变 。
接着讲师探讨了架构搜索方法的发展和卷积网络的特征可解释性问题，并在最后讨论了卷积神经网络研究领域面临的主要挑战 。
理论基础
普林斯顿大学的SanjeevArora着重介绍了深度神经网络的理论基础，很多读者可能首先想到的就是万能近似定理，即足够宽的单层感知机可以拟合任意函数 。但Arora更关注于最优化性能、泛化性能、深度法则和其它有可能代替神经网络的简单方法 。
最优化
多伦多大学的JimmyBa介绍了最优化基础的第一部分，他主要介绍了随机搜索与梯度下降、如何搜索更好的下降方向以及如何设计一个「白盒」的最优化方法 。这些主题都是从神经网络的角度来探讨的，甚至还介绍了如何采用随机搜索的方式学习神经网络的参数 。
在整个课程中，他介绍的梯度下降是比较重要的话题，包括梯度下降为什么能朝着更好的方向学习参数、它又如何遭受极值点和鞍点的困扰等 。当然既然有这些问题，JimmyBa也会介绍比较好的解决方法，即将物理学中动量的概念引入梯度下降，这样就能克服这些问题 。
美国西北大学JorgeNocedal随后介绍了最优化的第二部分，他主要从理论的角度解释了如何理解随机梯度下降及拟牛顿法等其它最优化方法，并提出了很多能获得更快下降速度的技巧 。
RNN
主讲人YoshuaBengio首先介绍了循环神经网络及其变体，如生成RNN（GenerativeRNN）、双向RNN、递归网络、多维RNN等，并详细介绍了RNN中涉及的基本概念和原理，如条件分布、最大似然、通过增加深度来提升RNN的表达能力等 。然后，Bengio介绍了RNN中的梯度问题，包括梯度消失、梯度爆炸及其解决方案 。还介绍了多种RNNtrick，如梯度裁剪、跳过连接、Momentum、初始化、稀疏梯度等 。此外，这节课还介绍了注意力方面的知识，如基于注意力的神经机器翻译、图注意力网络、多头注意力、自注意力和Transformer等 。

• 上海十大灵异事件 普陀公园的阴阳街最为可怕
• 世界最长寿的人，盘点吉尼斯世界纪录认证长寿的人，最高达134岁高龄
• 韩国祛斑霜排行榜前十 东星祛斑霜效果最佳
• YY直播平台主播排行榜 YY主播人气TOP10
• 世界上身材最火辣的十大女星 罗茜·汉丁顿-惠特莉仅排第十
• NBA史上十场分差最大的比赛 骑士148-80狂胜热火68分
• 南宁旅游景点大全排行 南宁最值得去的景点推荐
• 世界十大最美花样滑冰运动员 颜值与实力并存
• 口碑最好的祛斑产品第一名你绝对听说过
• 全球十大儿童游乐园 最好玩最刺激的