Ha habido muchos equipos locos de muchas cámaras creados con el propósito de capturar video espacial completo.  Recuerdo una conversación en Meta que era básicamente "vamos a apoyarnos lo más posible en la visión por computadora geométrica clásica antes de mirar los algoritmos de aprendizaje automático", y apoyé esa dirección. Eso fue hace muchos años, cuando ML todavía se sentía como una alquimia impredecible y, por supuesto, ¡quieres maximizar tu uso de la verdad fundamental! Se dedicó un gran esfuerzo de ingeniería a la calibración, sincronización y procesamiento de datos de la cámara, pero nunca cumplió realmente con la visión. No importa cuántas cámaras tenga, cualquier objeto en movimiento complejo tendrá áreas ocluidas, y los "agujeros en la realidad" se destacan claramente para un espectador que no está exactamente en uno de los puntos de la cámara. Incluso cuando tiene buena visibilidad, las ambigüedades en la fotogrametría multicámara hacen que las cosas sean menos precisas de lo que le gustaría. También hubo algunos experimentos para ver qué tan bien se podía hacer la reconstrucción de escenas 3D de las cámaras Quest usando computación fuera de línea, y la respuesta seguía siendo "no muy buena", con superficies bastante abultadas. Muchas reconstrucciones en 3D se ven increíbles desplazándose en el feed de su teléfono, pero no tan bien ampliadas a una representación de realidad virtual totalmente inmersiva y en contraste con una foto tradicional de alta calidad. Realmente necesita antecedentes sólidos para impulsar el problema de ajuste y llenar los vacíos de cobertura. Para las escenas arquitectónicas, puede obtener algo de kilometraje de los priores planos simples, pero la IA generativa moderna es el último prior. Incluso si los locos equipos de cámara cumplieran plenamente la promesa, aún no habrían habilitado un buen ecosistema de contenido. YouTube no habría tenido éxito si todos los creadores necesitaran una cámara RED Digital Cinema. La generación de fotos 3D estereoscópicas (¡bastante buena!) en Quest Instagram es un pequeño paso hacia el futuro. Hay caminos para video estéreo y estático 6DOF, y eventualmente para video 6DOF. Haga que todo sea inmersivo, luego permita el ajuste personalizado de los medios conscientes de la inmersión.
159.44K