InFi 使用 Python 实现 ， 深度学习模块基于 TensorFlow 2.4 ， 目前代码已开源 。
验证实验
InFi 在 5 个数据集上的 12 种人工智能推理任务上进行了验证实验 ， 涵盖图片、视频、文本、音频、运动信号、中间层特征六种输入模态 。 与三个基线方法的对比实验表明 ， InFi 具有更广泛的适用性 ， 并且在准确性和效率上都更优 。

文章图片

以在城市道路监控视频中进行车辆计数的任务为例 ， 在端上推理时 ， 相较于原始的工作流 ， 采用 SKIP 和 REUSE 机制的 InFi 方法分别能够将推理吞吐提升 1.9 和 7.5 倍 ， 同时皆保持超过 90% 的推理精度；在进行端 - 边模型切分推理时 ， 两种机制下的 InFi 分别能够节省 70.7% 和 95.0% 的通信带宽 。

文章图片

InFi 的训练成本也很低 。 在一个基于运动信号的动作识别应用中 ， 仅使用 10% 的训练数据集即可得到过滤表现接近最优的 SKIP 和 REUSE 结果 。 InFi 可在保持超过 95% 推理精度的情况下 ， 节省 80% 的推理运算 。

文章图片

结论与未来展望
该工作首次给出了可过滤性的理论分析 ， 提出了统一的端到端可学的输入过滤框架 ， 并在广泛的人工智能推理任务中验证了其设计和实现的优越性 ， 对于实现以移动为中心的资源高效的推理有着重要的意义 。 InFi 框架的一大优点在于无需人工标注 ， 未来可能会形成新的人工智能模型部署的最佳实践 ， 即在每个模型的推理服务期间 ， 自监督地训练输入过滤器 ， 实现精度 - 资源权衡的模型推理 。
论文引用：
Mu Yuan, Lan Zhang, Fengxiang He, Xueting Tong, and Xiang-Yang Li. 2022. InFi: End-to-end Learnable Input Filter for Resource-efficient Mobilecentric Inference. In The 28th Annual International Conference On Mobile Computing And Networking (ACM MobiCom ’22), October 24–28, 2022, Sydney, NSW, Australia. ACM, New York, NY, USA, 14 pages. https://doi.org/10.1145/ 3495243.3517016