群发资讯网

小米开源了一个视频消除神器SVOR,意在解决"视频里删人删不干净"这个老大难问题

小米开源了一个视频消除神器SVOR,意在解决"视频里删人删不干净"这个老大难问题

它到底在解决什么?你拍了段风景视频,回看发现有路人甲,想用AI消除,但传统方法总出三个毛病:1. 人没了影子还在:消除不彻底,阴影残留2. 快速移动物体闪烁:一帧一帧处理,快速运动的物体消除后画面一跳一跳的3. 边缘识别不准:AI画的遮罩歪歪扭扭,修复效果差

小米怎么解决的?SVOR框架用了三招组合拳:

第一招:MUSE(窗口化联合策略)传统方法像近视眼看书,一帧一帧盯着看。MUSE不一样,它看一个时间窗口内的整体情况,就像你肉眼追踪一个快速移动的物体轨迹一样。这样即使物体移动很快,也能被完整识别和消除,不会出现"跟丢"导致的闪烁。

第二招:DA-Seg(去噪感知分割)AI识别物体边界时经常不准,DA-Seg相当于给系统配了个"智能纠错笔"。即使原始遮罩有瑕疵,它也能自动修正,确保最终修复质量不受影响。

第三招:课程式两阶段训练这招最聪明,像教小孩学东西一样循序渐进:第一阶段:用真实背景视频自监督预训练,让模型先学会"什么是自然的视频时序规律"-第二阶段:用合成数据精调,专门训练处理阴影和反射残留这种细节问题

厉害在哪?- 在CVPR 2026物理感知视频实例消除挑战赛中从18支队伍里拿了第一- 核心思路很务实:先解决真实场景下的可用性,再追求完美效果