文章图片

△ICASSP 线上举办的颁奖典礼
又比如2018年 ， 何晓冬与沈向洋、李笛等人在中国工程院刊FITEE发表论文《From Eliza to XiaoIce: Challenges and Opportunities with Social Chatbots》 ， 深度探讨了构建先进人机对话系统的设计原则 ， 获得业界广泛关注 ， 并获得2018年度优秀论文奖 。
基于其对自然语言理解和语言与视觉多模态信息处理的贡献 ， 2018年底何晓冬当选IEEE Fellow 。
此外 ， 他还曾担任IEEE西雅图分会主席及多个顶级学术期刊编委 。
深度学习爆发的见证者、参与者
正如乔布斯在斯坦福大学那场著名的演讲中所言 ， 人生中很多事件其间存在巧妙关联 ， 但要在多年后回望时才会发现 。
这一点在何晓冬身上也有印证 。
站在当下这个节点上 ， 何晓冬回望走过的路 ， 何晓冬对我们讲述了自己亲历的深度学习发展中的几个片刻 。
关于这个故事 ， 还要从2006年说起 。
当年 ， 深度学习三巨头之一Geoffrey Hinton在顶刊Science上发表了一篇论文 ， 名为《Reducing the Dimensionality of Data with Neural Networks》 。

文章图片

虽然当时人们认为这篇论文并不好懂 ， 但现在回头来看 ， 这篇论文可以称得上是这次深度学习浪潮的起点 。
在他看来 ， 很多算法、理论确实够前沿新颖 ， 但当真的用到实际问题中时 ， 效果却差强人意 。
之后在2008年的机器学习顶会NeurIPS （当时叫做NIPS）上 ， 他和当时微软的同事邓立便举办了一场语音语言研讨会 （NIPS Workshop on Speech and Language: Learning-based Methods and Systems） ， 同时也邀请Hinton来做报告 。

文章图片


文章图片

到了2017年 ， 在Switchboard上的错误率被降低至5.1% ， 这也是首次在这个数据集上AI达到了人类职业速记员的水平 。
重点是它让大家对深度学习、神经网络看法发生了改观——
“原来这是条可行的路” 。
于是 ， 在这扇大门敞开之际 ， 深度学习领域与之相关的各项研究都开始遍地开花 。
在此理念之下 ， 何晓冬等人投身其中 ， 探索从自然语言中提取出抽象的语义并将它投影到一个语义空间 ， 以此来帮助搜索、推荐、分类、问答等实际应用 。
具体而言 ， 他们在2013年提出了深度结构化语义模型DSSM （Deep Structured Semantic Models） ， 将多样化的自然语言所表达的含义 ， 表示成为一个多维度连续语义空间中的向量 。

文章图片

值得一提的是 ， 该模型产生的影响可谓深远 ， 不仅仅在学术界被引用过千次 ， 在工业界也极具适应性 。
时至今日 ， 几乎所有做搜索推荐场景的大厂仍在使用DSSM及其衍生模型 ， 其影响力度可见一斑 。
除了语言之外 ， 在2015年的一个工作中 ， 他们将知识也用向量、矩阵等方式来表征并投影到高维连续语义空间中 。
更进一步 ， 语音、语义或图像上的突破还只是单一领域的智能 ， 而人类的智能更为复杂丰富 。
比如就像我们人类看下面这张图一样 ， 很自然就能够get到图片中人物的活动 ， 并用语言去描述出来 ， 而不只是简单的检测出图中的人和物 。