为了捕捉完整的空间视频,已经创造了许多疯狂的多摄像头设备。 我记得在Meta的一次对话,基本上是“我们将尽可能依赖经典的几何计算机视觉,然后再考虑机器学习算法”,我对这个方向表示支持。那是很多年前,当时机器学习仍然感觉像是不可预测的炼金术,当然你希望最大化利用真实数据! 在相机校准、同步和数据处理方面投入了大量的工程努力,但它从未真正实现愿景。无论你有多少个摄像头,任何复杂的移动物体都会有被遮挡的区域,而“现实中的空洞”在不在摄像头点的观众眼中显得格外明显。 即使在良好的可见性下,多摄像头摄影测量中的模糊性也使得事情不如你所希望的那样精确。还有一些实验是看看如何利用离线计算从Quest摄像头生成更好的3D场景重建,答案仍然是“不是很好”,表面相当粗糙。许多3D重建在手机的动态信息流中看起来很惊艳,但在完全沉浸式的VR渲染中放大,与高质量的传统照片对比时就显得不那么好。 你真的需要强大的先验知识来推动拟合问题并填补覆盖空白。对于建筑场景,你可以从简单的平面先验中获得一些收益,但现代生成性AI是终极的先验。 即使这些疯狂的摄像头设备完全实现了承诺,它们仍然无法促进良好的内容生态系统。如果每个创作者都需要一台RED数字电影相机,YouTube就不会成功。 Quest Instagram中的(相当不错的!)立体3D照片生成是通往未来的一小步。通往立体视频和6DOF静态视频的路径,然后最终到6DOF视频。 让一切都沉浸式,然后允许对沉浸感媒体进行定制调优。
159.44K