机器人在现实世界中实际行动之前 ， 科学家们在虚拟训练营中为这个四足机器人设置了众多障碍 ， 以便于它能找到克服多种障碍的理想方式 ， 以及它何时可以依赖环境数据、何时可以忽略这些数据 。
赫特说：“在实验中评估机器人外部感知很重要 。 ”研究人员在模拟的附加实验中 ， 他们还比较了各种阶梯和楼梯地形中 ， 机器人行动的成功率 ， 以进一步定量评估其性能 。
▲ANYmal上楼梯

文章图片

在评估过程中 ， 研究人员向机器人发出0.7m/s的固定前进速度指令 ， 持续10秒 ， 并收集了300个实验数据来计算成功率 。 实验成功的标准是机器人的行动距离是否超过4米 。 研究结果显示 ， 这个四足机器人的控制器性能明显优于基线 ， 可以穿越更多类型的地形范围 。
▲ANYmal于其他机器人行动对比

文章图片

三、教师+学生模型训练 ， 训练迭代1000个环境
研究小组还采用了教师-学生模式来对机器人进行训练 。 在训练过程中 ， 赫特将信息策略的控制频率设置为50 Hz ， 每个环境收集250个时间段的轨迹数据 ， 形成一次训练迭代 。 随后他们将模拟环境并行化 ， 以同时执行1000个环境的训练 。
对于教师模型 ， 研究人员采用深度增强学习PPO算法 ， 这个算法模型可以有效衡量机器人的步长 。 在将观察结果汇总观察之前 ， 他们会使用运行平均值和标准偏差对其进行标准化 ， 不同的实验会在每一次训练中以指数形式更新 。
对于学生模型 ， 赫特说：“我们在300个环境中进行了推广 ， 并为一次训练迭代收集了400个时间段的轨迹 。 ”并且在训练学生模型时 ， 实验过程没有高度样本噪音干扰 。
“通过这种训练 ， 机器人能够在以前从未见过的情况下掌握最困难的自然地形 。 ”赫特说 ， “即使直接环境中的传感器数据模棱两可或含糊不清 ， 这也有效 。 ”
▲ANYmal与其他四足机器人避障对比

文章图片

根据赫特的说法 ， ANYmal会依靠其本体感觉安全行事 ， 这样的话机器人行动就做到了两全其美 ， 能够结合外部感知的速度和效率以及本体感知的安全性 。
结语：机器人或能帮助人类探索未知领域
在实际应用场景中 ， ANYmal在自主探索狭窄隧道、洞穴和城市基础设施的地下系统的同时 ， 还能自动快速地克服许多障碍物和困难地形 。
机器人的快速避障和感知能力进一步提升 ， 在未来 ， 各种极端条件下 ， 比如地震之后、核灾难之后或是森林火灾期间 ， 对人类来说太危险以及其他机器人无法应对困难地形的地方 ， 像ANYmal这样的机器人都可以派上大用场 。
近年来 ， 机器人研究的应用在不断扩展 ， 机器人行动结合本体感受和外部感受等技术 ， 都在解决很多机器人运动的难题 ， 该领域未来在人类未知领域的探索应用场景可能会进一步扩大 。
来源：Robohub、Science