文章图片

3 个评价维度
筛选评测对象
目前市场公开渠道中开放社区版本的 RPA 产品 ， 主要有 Uipath、Uibot、云扩 RPA、阿里云 RPA、实在 RPA、影刀 RPA 等 ， 我们取同一时期的软件版本 ， 下载安装了五家主流厂商官网提供的社区版 RPA ， 历时月余 ， 开发了相应的流程评测脚本（注：由于有些厂商未开放社区版或中途取消了试用功能 ， 未加入最终评测） 。
为公平起见 ， 研究小组从软件库中筛选出最常用 100 款 windows 办公软件 ， 随机抽取其中 18 款作为测试目标 ， 针对所有厂商实现了一套包含近 700 个元素的识别控制、10 种常见业务流程任务的测试方案 ， 在相同的 win10 系统环境下开展首轮测试 。

文章图片

18 个常见软件及运行环境

文章图片

10 个常见业务流程及运行环境
计算指标权重
指标权重是指某一因素或指标相对于事物的重要程度 。 我们重点关注评价指标 “元素拾取成功率”、“流程执行完成率”、“流程运行速度” 对 RPA 产品的影响 。 采用定性方法进行指标权重赋值 ， 往往说服力较差 。 基于定量和定性角度出发 ， 项目组采用层次分析法进行指标权重的计算 。 该方法作为网络系统理论和多目标综合评价方法 ， 主要应对一些较为复杂模糊的问题作出决策 ， 特别适用于那些难以完全定量分析的问题 。 基本操作流程：首先建立结构模型（如下图所示） ， 然后构造判断矩阵 ， 对判断矩阵进行一致性检验 ， 最终确定各个指标对 RPA 产品的权重 w1、w2、w3 。

文章图片

研究小组基于层次分析法 ， 构造判断矩阵并通过一致性检验 ， 求解出三个核心指标的权重分别为 w1=0.431 ， w2=0.325 ， w3=0.244 。 其详细理论依据和过程可参考评测报告原文 。
评测过程及结果
研究小组在相同控制变量（运行环境、软件界面、流程任务、拾取方式等）下 ， 进行两种模式的对比实验 ， 即传统模式和智能模式 。 传统模式 ， 指完全采用普通元素拾取的方式进行流程编辑和运行；智能模式 ， 指在普通元素拾取基础上融入 CV 技术的智能拾取方式 。
本次实验运行流程脚本总计 10 万余次 ， 详细记录流程运行日志并保存到数据库 。 在剔除因运行环境、外界干扰等造成的异常数据后 ， 对 5 家厂商的社区版 RPA 产品 ， 基于三个维度所设定的统一指标进行数据分析 。 具体分析方法及相应结论如下 ——
一、界面控制能力
方法
通过指标 “元素拾取成功率” 评价“界面控制能力” 。 参与拾取元素测试图标 684 个；对传统模式下的元素拾取和融入 CV 技术后的拾取方式进行分别测试；人工进行元素拾取后保存元素库；开发拾取流程包 ， 执行元素点击流程 ， 记录是否成功、运行时间、系统参数等日志并存入数据库 ， 剔除异常数据 。 元素拾取成功率评分 = 拾取元素成功个数 / 总元素个数 * 100 ， 计算该项得分 。
考虑不同环境下各厂商产品存在设计组件的差异 ， 在评测时 ， 采用完全相同的流程包设计框架且设置相同的延时时间 。
得分

文章图片

结论
在被测软件领域随机的模式下 ， 各厂商的传统模式拾取能力得分普遍不高 ， AI 能力对元素拾取提升贡献突出 。