核心结论
- 视频孪生 = 实时视频 + 三维坐标对齐 + 引擎纹理贴图。
- 核心是「坐标对齐」:把视频像素映射到三维世界坐标。
- 落地四步:畸变矫正 → 坐标映射 → 纹理贴图 → 引擎输出。
- 支持 Unreal、Unity、Cesium、Three.js,可复用既有三维资产。
一、视频孪生到底「孪生」了什么
视频孪生(又称实景孪生、视频融合)是把实时视频流按空间位置精确叠加到三维场景里,让人在三维环境中直接看到现场实况。与侧重结构与状态数据同步的数字孪生不同,视频孪生回答的是「现场正在发生什么」——是实时画面,不只是数字。
二、落地四步
| 步骤 | 做什么 | 关键点 |
|---|---|---|
| 1. 畸变矫正 | 矫正鱼眼/广角画面 | 让几何关系可靠,才能映射 |
| 2. 坐标对齐 | 视频像素映射到世界坐标 | 相机内外参 |
| 3. 纹理贴图 | 视频作为纹理绑定到场景几何 | 场景中的平面或曲面 |
| 4. 引擎输出 | 在三维引擎中渲染融合场景 | Unreal / Unity / Cesium / Three.js |
最难的是第 2 步「坐标对齐」:先求解每台相机的内外参(标定或摄影测量),把视频像素映射到世界坐标,再把视频作为纹理绑定到场景中对应的平面或曲面。有 BIM 或点云数据时,精度会显著更高。
口径说明:这里的「标定」只用于视频像素与三维坐标的对应,拼接环节本身不需要现场标定,两者是两回事。
三、支持哪些引擎
- Unreal Engine——高保真渲染,适合大型指挥中心。
- Unity——轻量灵活,适合快速部署。
- Cesium——地理空间场景,把视频绑定到矩形/多边形几何或自定义材质。
- Three.js——纯网页,免插件,便于分享。
元镜像的实景孪生引擎为 SpatioForge,对以上四种引擎均有实时视频注入实施经验。
四、三种输入条件
部署方式取决于你现有的三维数据:
- 已有模型——视频直接映射到既有模型,最快。
- 只有点云——先重建轻量场景,再映射视频。
- 只有图纸——按图纸或摄影测量建模,工期更长、精度略低。
五、常见问题
已有的三维模型或引擎能复用吗?
能。融合实施不替换客户既有三维资产,SDK 按引擎版本适配,模型、场景与业务逻辑保持不变。
一个场景能同时接入多少路视频?
不设固定路数上限,并发路数随硬件配置与场景复杂度变化。选型应关注「同屏实时显示的路数」,而非平台纳管的总路数。
需要现场标定吗?
坐标映射需要相机标定,但拼接环节本身不需要现场标定,两者相互独立。