由于涉及前沿生物技术 ， 有很多生物机制计算机验证起来非常困难 。
“蒲老师讲完这一机制 ， 我们读相关论文时还觉得这项工作并不复杂 。 ”张铁林说 ， “但真正应用到模型上却困难重重、一筹莫展 。 ”
张铁林等人是计算机领域的 ， 生物领域论文对他们来说比较难 ， “很多时候并不完全懂” 。 而且 ， 大脑中有多个关联机制 ， 要不要跟SBP结合、怎么结合、神经元的突触往前传多少、传给谁、有没有倾向性 ， 这些问题都没有答案 ， 感觉“有很多缺失的信息需要去补充” 。
没有标准答案 ， 研究人员只能先结合网络情况进行论证分析 ， 再设置一个可优化的参数 ， 用一些特殊的方法构建“能量函数”来约束一些变量 ， 然后把这个机制放到脉冲网络里去验证 。
然而 ， 经过多次尝试 ， 结果却并不理想 。 他们只好回过头来重新认识“生物学规则” 。 随着学习的深入 ， 蒲慕明建议他们做一些小实验来模仿类似生物的小网络 。 慢慢的 ， 这种机制逐步明确起来 。
“从科研角度来讲 ， 要先做减法 ， 把它的重要性弄清楚、体现出来 ， 后面再做加法 ， 加更多的机制、变量和条件 。 ”张铁林说 ， “目前我们只是在一些标准的简单模型上进行了验证 。 因为如果模型太复杂 ， 会说不清楚SBP在其中到底贡献了什么 。 下一步我们会在更大规模的模型上进行验证 。 ”
研究团队针对性地提出一种统计训练过程中能量消耗的新方法 。 在图片分类、语音识别、动态手势识别等多类标准数据集上 ， SBP机制通过组合其它可塑性机制 ， 实现了更低能耗和更高精度的SNN局部学习 。 在一些人工网络的学习中 ， SBP机制也可以大量替换BP机制实现全局和局部交叉学习 ， 在降低计算能耗的同时不损失精度 。
“自组织”的优势
“生物智能计算的本质 ， 很可能就是灵活融合多类微观、介观等可塑性机制的自组织局部学习 ， 结合遗传演化赋予的远程投射网络结构 ， 达到高效的全局优化学习效果 。 ”蒲慕明告诉《中国科学报》 ， “该工作可以进一步引导生物和人工网络的深度融合 ， 最终实现能效比高、可解释性强、灵活度高的新一代人工智能模型 。 ”
目前 ， 反向传播机制已经是一种优化的结果 ， 作为一种标准模型 ， 它基本上覆盖了脉冲和人工网络模型 ， 效果也不错 。
“但其能耗和学习效率方面 ， 还可以再优化一些 ， 从各个尺度上再提升一下 。 ”张铁林说 ， “我们在训练时 ， 也采取混合式的训练方法 ， 一部分采用BP方法 ， 一部分采用SBP方法 。 ”
研究人员认为 ， SBP是一类介观尺度的特殊生物可塑性机制 ， 具有自平衡、自组织、可传播等特点 ， 因此在神经网络学习中展示出较好的组合优化优势 。
【“自组织”让“电老虎”少吃多干】“人工的反向传播算法靠整体目标函数驱动 ， 每次计算时既慢又耗能 ， 特别是在网络比较大的时候 ， 问题就更明显了 。 ”张铁林说 ， “如果一个算法是自组织的 ， 它就可以像大脑一样无监督学习 ， 可以进行局部运算 ， 就比较节能了 。 ”
目前 ， 该团队已经在一些小型、浅层的人工网络上做过测试 。 结果表明 ， 最好的时候 ， 其可以在保持原来性能的基础上 ， 把能耗降到原来的21%左右 。
“比如 ， 原来需要100块GPU去训练 ， 现在只需要21块就够了 。 ”张铁林说 ， “这在进行大模型训练的时候就比较重要了 。 ”
SBP只是一个开始 ， 它对进一步深入探索类脑局部计算具有很大的启示 。
“将来还有很多和脑智卓越中心生物科学团队的交叉合作研究 。 ”徐波说 ， “相信人工智能领域未来还有很大的进步空间 ， 这些受生物启发的学习法则可以帮助人们更好地填补这些空白 。 ”