你以为这些人像发丝的勾勒是PS做的吗？
不！这是AI算法的效果！
该数据引用公开数据集[1]
近期PaddleSeg团队复现了经典Matting算法MODNet ， 并进行了一定改进 ， 提供了更丰富的backbone模型选择 ， 适用边缘端、服务端等多种任务场景 。
在这里小编赶紧给大家贴上项目链接地址 。欢迎小伙伴们star收藏：
https://github.com/PaddlePaddle/PaddleSeg/tree/release/2.3/contrib/Matting
同时PaddleSeg团队提供了可部署在手机端的APP应用 ， 欢迎大家收藏链接体验Matting的人像抠图效果 。
APP下载链接：
https://paddleseg.bj.bcebos.com/matting/models/deploy/app-debug.apk
【精细到发丝级别的抠图算法，工程师的浪漫YYDS！】Matting精细化抠图被广泛应用在多种行业 ， 如视频剪辑 ， 视频合成等领域 。
看到这么好的技术 ， 有的小伙伴们会比较关注技术上是怎么实现的 ， 那么我们就一起来看看Matting的技术演化过程 。
Matting算法基本结构
基于深度学习的Matting分为两大类：

1. 一种是基于辅助信息输入 。 即除了原图和标注图像外 ， 还需要输入其他的信息辅助预测 。 最常见的辅助信息是Trimap ， 即将图片划分为前景 ， 背景及过度区域三部分 。 另外也有以背景或交互点作为辅助信息 。
2. 一种是不依赖任何辅助信息 ， 直接实现Alpha预测 。

本文将分别对两类Matting算法展开介绍 ， 和小伙伴们一起梳理Matting的发展历程 。
DIM -Matting
DIM（Deep Image Matting）第一次阐述了在给定图像和辅助信息Trimap的情况下 ， 可以通过端到端的方式学习到Alpha 。 其网络分为两个阶段 ， 第一阶段是深度卷积编码-解码网络 ，第二阶段是一个小型卷积神经网络 ， 用来减少编码-解码网络引起的细节损失 ， 提升Alpha预测的准确性和边缘效果 。 在DIM之后诞生了大量的基于Trimap的Matting网络 。

文章图片

图片来源：Xu, Ning, et al. "Deep image matting." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.
BGMV2-以背景作为辅助信息
BGMv2(Background Matting v2) 改变思路 ， 利用背景图像取代Trimap来辅助网络进行预测 ， 有效避免了Trimap获取费时费力的问题 ， 并将网络分为Base网络和Refiner两部分 。 在计算量大的Base网络阶段对低分辨率进行初步预测 ， 在Refiner阶段利用Error Map对高分辨率图像相应的切片进行Refine 。 通过此实现了高分辨率图像的实时预测 。
图片来源：Lin, Shanchuan, et al. "Real-time high-resolution background matting." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021.
MODNet
辅助信息的获取极大限制了Matting的应用 ， 为了提升Matting的应用性 ， 针对Portrait Matting领域MODNet摒弃了辅助信息 ， 直接实现Alpha预测 ， 实现了实时Matting ， 极大提升了基于深度学习Matting的应用价值 。 MODNet将Matting分解成三个子目标进行优化 ， 通过任务分解提升Alpha预测的准确率 。

文章图片

图片来源：Ke Z, Li K, Zhou Y, et al. Is a Green Screen Really Necessary for Real-Time Portrait Matting?[J]. arXiv preprint arXiv:2011.11961, 2020.
当前PaddleSeg提供的Matting算法便是对MODNet算法的复现 ， 并在原著基础上提供了多个不同主干网络的预训练模型如RestNet50_vd、HRNet_w18 。 来满足用户在边缘端、服务端等不同场景部署的需求 。
直播预告
为了让开发者们更深入的了解Matting的原理 ， 飞桨团队精细准备了两日课 。