看这蓬松的头发，再加上帅气的动作，你以为你是在绿幕前拍大片。
不，不，不
这其实是AI带来的视频吗抠图后的效果
没想到，实时视频抠图现在可以细化到每一根头发。
换到阿尔法通道，再看一下不用说，Dove会买单的
这是来自字节跳动实习兄弟的最新研究:实时高分辨率视频抠图。
在没有任何辅助输入的情况下，把视频丢给这个叫RVM的AI，几分钟就能帮你高精度挖出人像，背景换成可以随意重新处理的绿屏。
不信这么丝滑我们亲自尝试了一波在线演示
相比之下，在目前的在线会议软件中，一旦头发遮住脸，人就会消失helliphellip
头发明显烧焦了。
难怪网友们都直言:
我无法想象你会把这种人工智能塞进手机。
目前，本文已入选WACV 2022。
你也可以试试
目前，RVM已经在GitHub上开源，给出了两种尝试的方式:
所以我们很快开始尝试。
我们先来看看效果:
让我们从不太难的事情开始。
RVM在画面中人物基本不动的时候可以说表现的非常好，这和手工抠图差不多。
如今，王冰冰进入东森，从未违抗。
所以我打开了我的大脑，变得简单多了，helliphellip
咳咳，言归正传当角色移动更多时会发生什么
对于多人舞蹈视频，RVM也很不错。
即使动来动去掉头发，也不影响它的抠图效果。
只有当角色被屏蔽时，缺陷才会出现。
与以前的方法MODNet相比，有了很大的进步。
但是，我们也发现，如果视频的背景比较暗，就会影响到RVM。
比如在这样昏暗的背景下，抠图的效果非常不理想。
可以看出博主哥哥的头发完全烧焦了。
而且身体的边界线不够清晰。
因此，如果你想尝试自己的视频，你必须选择一个光线充足的场景。
使用时间信息
那么这样的神奇的具体如何实现。
和往常一样，我们先看看试卷吧~
与此不同，在本文中，研究者构建了一个循环架构，该架构利用了视频的时间信息，在时间一致性和抠图质量上有了明显的提升。
从上图可以看出，RVM的网络架构包括三个部分:
用于提取单帧特征的特征提取编码器，
循环解码器，用于汇总时间信息，
用于高分辨率上采样的深度引导滤波模块。
其中循环机制的引入使得AI能够在连续的视频流中进行自我学习，从而知道哪些信息需要保留，哪些信息可以遗忘。
特别地，循环解码器使用多尺度ConvGRU来聚集时间信息。其定义如下:
在这个编解码网络中，AI将完成高分辨率视频的下采样，然后使用DGF对结果进行上采样。
此外，研究人员还提出了一种新的训练策略:利用抠图和语义分割对网络进行训练。
这样做的好处是:
首先，人像抠图与人像分割任务密切相关，因此AI必须学会从语义上理解场景，才能在定位人物时具有鲁棒性。
其次，现有的抠图数据集大多只提供真实的alpha通道和前景信息，因此必须合成背景图像但是前景和背景的光照往往不同，影响合成效果语义分割数据集的引入可以有效防止过度拟合
最后，语义分割数据集具有更丰富的训练数据。
经过这次训练，RVM与前辈相比有什么进步。
从效果对比中可以明显感觉到:
此外，与MODNet相比，RVM更轻，更快。
从下表可以看出，RVM的处理速度在1080p视频中最快，为512倍，288比BGMv2稍慢，4K视频比带FGF的MODNet稍慢研究人员分析，这是因为RVM不仅预测了阿尔法通道的前景
更直观的数据是，在NVIDIA GTX 1080Ti上，RVM可以处理76FPS的4K视频和104FPS的高清视频。
字节跳动的实习生
本文由林善川在字节跳动实习期间完成。
他毕业于华府大学，获学士和硕士学位，曾在Adobe，脸书等大公司实习。
2021年3月至6月，林善川在字节跳动实习我8月份刚加入微软
事实上，林善川此前凭借AI获得了CVPR 2021年最佳学生论文荣誉奖。
他将论文《Real—Time High—Resolution Background Matting》作为作品发表，提出了背景抠图V2方法。
该方法可以处理30帧/秒的4K视频和60帧/秒的高清视频。
值得一提的是，《背景抠图》不止一次获得CVPR此前，第一代背景抠图被列入CVPR 2020
此外，本文的第二部分是的研究型科学家杨清华大学，获香港中文大学博士学位
对了，除了可以在Colab上试用之外，还可以在网页版上实时感受到这款AI的效果。记下地址:
郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。
|
