机器之心专栏
机器之心编辑部

近期 ， 国际AI顶级会议 NeurIPS 2021 召开 。 清华大学朱文武教授实验室 Meta_Learners 团队在 NeurIPS 2021 举办的第二届国际深度元学习挑战赛（MetaDL Challenge）中夺得冠军 。 该团队在最终阶段的五个数据集中以平均准确率超越第二名 17.5%（相对提升 22.3%）的优势强势摘得桂冠 。

元学习（Meta Learning）作为机器学习迈向自动化的一个重要研究方向 ， 已经得到了产学研各界的持续关注 。 元学习旨在让机器学习算法从已经学过的任务中总结学习经验 ， 提取「元」知识 ， 来在遇到新场景、新任务时 ， 让算法能够仅利用少量的样本就完成复杂的训练过程 ， 从而又快又好地适应未知场景 。
为了进一步提升元学习算法在实际场景中的应用效果 ， 机器学习比赛平台 ChaLearn 联合微软、谷歌等知名公司在各大人工智能学术顶级会议举办 MetaDL 系列竞赛 。 作为元学习领域的第二届国际竞赛 ， 本次 NeurIPS 2021 MetaDL 挑战赛吸引了国内外顶尖团队的近五十支参赛队伍 。

文章图片

官网地址：https://metalearning.chalearn.org/metadlneurips2021
本次比赛关注元学习系统面对不同领域、不同质量的数据、任务时的表现 。 具体地 ， 比赛要求选手们提供一个元学习系统 ， 该系统需要在两小时、4 张 Tesla M60 显卡的环境中完成对已有任务的学习以及提取元知识 ， 并在完全未知的 600 个图像分类任务（每个任务仅有 5 分类 x5 张 = 25 张标注图片 ， 需要完成额外 95 张图片的标注）上完成快速学习和标签预测 。
此外 ， 系统还需要在无人工调整的情况下适配包括生物、地质、病理、纹理、字符等不同领域的小样本图像分类问题 ， 具有极大的挑战性 。
具体来说 ， 这次比赛具有以下两个方面的挑战：

• 数据层面 ， 来自各领域的图像内容和特性不同 ， 采集与处理的方法也各不相同 ， 有些是电子显微镜成像照片 ， 有些是卫星传感照片 ， 有些是人工手写字符 ， 有些是家用摄像机拍照 ， 这对元学习系统如何处理不同质量的输入信息提出挑战；
• 算法层面 ， 不同领域的小样本任务需要不同的元知识 ， 对应的特征提取算法、超参、框架也大有不同 ， 这对元学习算法的泛化性和自适应能力提出巨大挑战 。

清华 Meta_Learners 团队赢得冠军
【特奖得主任队长，清华夺冠NeurIPS 2021国际深度元学习挑战赛】此前 ， 清华大学朱文武教授实验室的 Meta_Learners 团队就已在相关深度元学习比赛中取得优异成绩 。 在年初的AAAI 2021 国际首届深度元学习挑战赛（MetaDL Challenge）中 ， 该团队以高出第二名 13% 性能的成绩强势夺冠 。
此次在 NeurIPS 2021 MetaDL 挑战赛中 ， 团队延续了元学习领域的一贯优势 ， 并再次夺得第一名 。
针对数据和算法层面的挑战 ， Meta_Learners 团队采用多级分辨率输入设计、低质量数据增强、混合领域半监督弱监督混合训练的方法来处理不同大小和质量的数据 ， 解决数据层面的挑战 。
与此同时 ， 他们采用半冻结模型参数更新与自动集成的方式来提取不同领域的元知识 ， 解决算法层面的挑战 。
该团队提出的 MetaDelta++ 系统将向学术社区开源 ， 为元学习算法进一步的研究和推广提供支持 。

文章图片

特征层次丰富化