【中科大统一输入过滤框架：首次理论分析可过滤性，支持全数据模态】机器之心专栏
中国科学技术大学 LINKE 实验室

针对模型推理过程中的输入冗余 ， 中科大新研究首次从理论角度进行了可过滤性分析 ， 并提出统一的输入过滤框架 ， 让模型推理的资源效率大幅提升 。

随着移动设备算力的提高和对感知数据进行实时分析需求的增长 ， 以移动为中心的人工智能应用愈发普遍 。 据估计 ， 2022 年将有超过 80% 的商用 IoT 项目将包含 AI 应用 。 然而多数精度最优的 AI 模型的计算量过大 ， 以至于难以在移动设备上进行高吞吐的推理 ， 甚至当推理任务被卸载到边缘或云端服务器时其推理效率也难以满足应用的需求 。
冗余的输入广泛存在于移动为中心的人工智能应用中 ， 将其过滤是一种有效的提高推理效率的方法 。 现有工作分别探索过两类输入过滤机制：推理跳过和推理重用 。 其中推理跳过方法旨在跳过那些不会产生有意义输出的推理计算 ， 例如相册分类应用可能会在没有人脸的图片上运行人脸检测模型：

文章图片

智能音箱应用可能将不包含指令的语音上传至云端进行语音识别：

文章图片

而推理重用方法希望重用已进行过得推理计算结果 ， 从而在新的数据到来时能够从缓存中更快速地返回结果 ， 例如智能手环上的动作分类模型可能会处理产生相同动作标签的运动信号：

文章图片

以及基于无人机和边缘服务器的交通监控可能会在连续两个画面帧中得到不变的车辆计数结果：

文章图片

现有工作已针对很多应用设计了有效的输入过滤方法 ， 然而两个重要的问题仍未得到解答 ， 并且严重影响着输入过滤方法的应用：

1. 推理任务的可过滤性 。 尽管输入过滤技术已在很多具体应用中显示出优化效果 ， 但往往是由主观的对冗余输入的观察而启发的 。 如果不能从理论上回答 “哪些推理任务存在输入过滤的优化机会” 这一问题 ， 则输入过滤技术的应用难以避免高成本的试错过程；
2. 鲁棒的特征可区分性 。 输入数据的特征表达直接关系到进行推理跳过和找到可重用推理结果的精度 ， 因此对于输入过滤的表现有着关键影响 。 现有方法多数依赖手工特征或预训练深度特征 ， 这些特征在应用过程中没有鲁棒的可区分性 ， 可能完全失去过滤效果 。

在 MobiCom 2022 上 ， 中国科学技术大学 LINKE 实验室针对移动为中心的模型推理场景 ， 提出端到端可学的输入过滤框架 InFi (INput FIlter) 。 该工作首次对输入过滤问题进行了形式化建模 ， 并基于推理模型和输入过滤器的函数族复杂性对比 ， 在理论层面上对推理任务的可过滤性进行了分析 。 InFi 框架涵盖了现有的 SOTA 方法所使用的推理跳过和推理重用机制 。 基于 InFi 框架 ， 该工作设计并实现了支持六种输入模态和三种推理任务部署方式的输入过滤器 ， 在以移动为中心的推理场景中有着广泛的适用性 。 在 12 个以移动为中心的人工智能应用上进行的实验验证了理论分析结果 ， 并表明 InFi 在适用性、准确性和资源效率方面均优于 SOTA 方法 。 其中 ， 在一个移动平台上的视频分析应用中 ， 相较于原始推理任务 ， InFi 实现了 8.5 倍的推理吞吐率并节省了 95% 的通信带宽 ， 同时保持超过 90% 的推理精度 。