点追踪关注稀疏关键点轨迹,光流估计计算稠密像素运动场。
相同点
- 估计物体/点的运动轨迹
- 提取视觉特征建立帧间匹配
- 用于运动分析、目标跟踪、SLAM
核心差异
| 维度 | 点追踪 | 光流估计 |
|---|---|---|
| 目标 | 稀疏关键点 | 稠密像素 |
| 输入 | 需指定/检测点 | 全图计算 |
| 输出 | 点轨迹序列 $(x,y)$ | 光流场 $(u,v)$ |
| 方法 | 特征匹配 + 轨迹推测 | 梯度计算/深度学习 |
| 遮挡适应性 | 利用历史信息 | 对遮挡敏感 |
| 计算量 | 低 | 高 |
代表方法
点追踪:
- 经典:KLT
- 深度学习:TAPIR、CoTracker
光流估计:
- 经典:Lucas-Kanade、Horn-Schunck
- 深度学习:FlowNet、RAFT
应用场景
| 点追踪 | 光流估计 |
|---|---|
| 3D 结构重建 | 视频插帧 |
| 视频稳定 | 运动补偿 |
| 目标跟踪 | 行人检测 |
| 电影特效 | 自动驾驶 |
结合方式
- 点追踪可利用光流初始化
- 光流增强遮挡场景的点追踪
- 深度模型(RAFT、CoTracker)融合两者思想
张芷铭的个人博客
Comments