文章图片

自组织反向传播（SBP）机制可以在降低计算能耗的同时不损失精度 。 图片来源：unsplash
■采访人员 张双虎
云计算、大数据、人工智能等技术的快速发展和广泛应用 ， 让这些领域成了“电老虎” 。 新思界产业研究中心《2021年全球及中国数据中心加速器产业深度研究报告》预测 ， 到2025年 ， 仅全球数据中心消耗的电能就将占全球总发电量的五分之一 。
近日 ， 中科院脑智卓越中心研究员徐波、蒲慕明院士联合研究团队在线发表于《科学进展》的研究 ， 利用介观尺度自组织反向传播（SBP）机制 ， 在更高效率、更灵活的类脑局部学习方面取得了重要进展 。 该技术能在机器学习过程中 ， 降低计算能耗的同时又不损失精度 ， 让这些“电老虎”可以少吃多干 。
能耗的瓶颈
人工智能在某些领域表现出巨大的优势 ， 比如 ， AlphaGo 完胜人类世界围棋冠军；在电子游戏竞技中 ， AlphaStar以10：1的总比分“狂虐”职业玩家 。
近年来 ， 随着数据量越来越大、算力越来越强、大规模预训练模型对能源的要求也越来越高 。 据伦敦大学学院教授David Attwell团队通过对单个神经元耗能进行计算 ， 发现整个大脑的能耗约16.6瓦 。 对于人体而言 ， 大脑只需要不到20瓦的功率就可以应对复杂思考任务 。 与之相比 ， 战胜柯洁的AlphaGo ， 耗电量相当于12760个人类大脑 。
“预训练模型的参数提高以后 ， 人工智能的性能确实更强了 ， 但能耗问题也不容忽视 。 ”该论文第一作者、中国科学院自动化所副研究员张铁林对《中国科学报》说 ， “研究者普遍认为 ， 人工智能的表现还应更好一些 。 比如 ， 进行同样运算而消耗更少的能源 。 ”
模拟人类大脑运行过程是人工智能的一个重要途径 ， 在人工智能研究领域 ， 目前神经网络中被广泛使用的反向传播算法（BP）采用全局优化策略 。 这种端到端的学习方法性能卓越 ， 但学习过程能量消耗大 ， 缺乏灵活性 。
“在精度不受影响的前提下 ， 降低能耗是我们的研究目的之一 。 ”徐波告诉《中国科学报》 ， “现在包括人工智能大模型在内的很多算法也远未达到人脑的参数量 。 而大脑维持这么多神经元运算 ， 却是非常节能的 。 如果我们在算法设计之初 ， 让机器能像人那样去学习 ， 也许模型不必那么庞大 ， 学习训练的时候也不会那么耗电 。 ”
向大脑学习
“我们想借用一些生物学领域取得的进展 ， 弄清楚大脑是怎么在低能耗的情况下高效学习的 。 ”张铁林说 ， “所以蒲慕明老师给徐波老师团队推荐了很多算法 ， 并保持着深度合作 。 ”
1997年 ， 蒲慕明团队在《自然》杂志发表论文 ， 揭示了海马体内神经元可以将长时程抑制（LTD）可塑性自组织地传播到三个方向 ， 分别是突触前侧向传播、突触后侧向传播和反向传播 ， 这个发现就是SBP 。
进一步的研究证实 ， SBP现象具有普遍性 ， 不仅覆盖更多的神经区域如视网膜—顶盖系统 ， 还覆盖更多的可塑性类型 ， 如长时程增强 。 该机制的形成归结于生物神经元内分子调制信号的天然逆向传递 ， 被认为是可能导致生物神经网络高效反馈学习的关键 。
研究团队受到该机制的启发 ， 对SBP的反向传播方向（第三个方向）单独构建数学模型 ， 重点描述了神经元输出突触的可塑性能够反向传播到输入突触中 ， 可塑性的发生可以通过时序依赖突触可塑性 ， 也可以通过人工局部梯度调节 。 在标准三层脉冲神经网络（SNN）的学习过程中 ， SBP机制可以自组织地完成前一层网络权重的学习 ， 并可以结合短时突触可塑性、膜电位平衡等 ， 形成更强大的SNN组合学习方法 。