Foram criados muitos sistemas de câmeras malucos para capturar vídeo espacial completo. Lembro-me de uma conversa na Meta que basicamente dizia "vamos nos aprofundar o máximo possível na visão computacional geométrica clássica antes de olhar para algoritmos de aprendizado de máquina", e eu apoiava essa direção. Isso foi há muitos anos, quando o aprendizado de máquina ainda parecia uma alquimia imprevisível, e claro que você quer maximizar o uso da verdade fundamental! Um esforço intenso de engenharia foi dedicado à calibração de câmeras, sincronização e processamento de dados, mas nunca realmente entregou a visão. Não importa quantas câmeras você tenha, qualquer objeto em movimento complexo terá áreas ocluídas, e "buracos na realidade" se destacam de forma marcante para um espectador que não está exatamente em um dos pontos da câmera. Mesmo quando você tem boa visibilidade, as ambiguidades na fotogrametria de múltiplas câmeras tornam as coisas menos precisas do que você gostaria. Também houve alguns experimentos para ver quão boa poderia ser a reconstrução da cena 3D a partir das câmeras Quest usando computação offline, e a resposta ainda era "não muito boa", com superfícies bastante irregulares. Muitas reconstruções 3D parecem incríveis ao rolar no feed do seu telefone, mas não tão boas quando ampliadas para uma renderização VR totalmente imersiva e contrastadas com uma foto tradicional de alta qualidade. Você realmente precisa de fortes priors para resolver o problema de ajuste e preencher as lacunas de cobertura. Para cenas arquitetônicas, você pode obter algum rendimento a partir de priors planos simples, mas a IA generativa moderna é o prior definitivo. Mesmo que os sistemas de câmeras malucos entregassem totalmente a promessa, eles ainda não teriam possibilitado um bom ecossistema de conteúdo. O YouTube não teria tido sucesso se cada criador precisasse de uma câmera RED Digital Cinema. A geração de fotos estereoscópicas 3D (bastante boa!) no Instagram do Quest é um pequeno passo em direção ao futuro. Existem caminhos para vídeo estéreo e 6DOF estático, e eventualmente para vídeo 6DOF. Faça tudo imersivo, depois permita o ajuste personalizado de mídia consciente da imersão.