Vídeo renderizado a partir de um modelo de dispersão gaussiana 3D

A Dispersão Gaussiana é uma técnica de renderização de volume que lida com a renderização direta de dados de volume sem converter os dados em primitivas de superfície ou linha.[1] A técnica foi originalmente introduzida como splatting por Lee Westover no início da década de 1990.[2][3]

Essa técnica foi revitalizada e explodiu em popularidade em 2023, quando um grupo de pesquisa do INRIA propôs o influente 3D Gaussian splatting, que oferece renderização de campo de radiância em tempo real. Como outros métodos de campo de radiância, ele pode converter múltiplas imagens em uma representação do espaço 3D e, em seguida, usar a representação para criar imagens como vistas de novos ângulos.[4] Vários trabalhos se seguiram logo depois, como o 3D temporal Gaussian splatting, que oferece renderização de cena dinâmica em tempo real.[5]

Dispersão gaussiana 3D

editar
Modelo de dispersão gaussiana de um edifício desabado, obtido a partir de imagens de drone

A dispersão gaussiana 3D é uma técnica baseada em rasterização usada no campo de campos de radiância em tempo real para representar e renderizar cenas 3D fotorrealistas a partir de um conjunto esparso de imagens 2D.[6][4] Ele permite a criação de cenas de alta qualidade com novas perspectivas em tempo real, combinando múltiplas fotos ou vídeos, abordando um desafio significativo na área.

Método

editar
  • Entrada: Um conjunto de imagens de uma cena estática juntamente com as posições da câmera, expressas como uma nuvem de pontos esparsa.
  • Gaussianas 3D: Definição de média, matriz de covariância e opacidade para cada Gaussiana.
  • Representação de cores: Utilizando harmônicos esféricos para modelar a aparência dependente do ponto de vista.
  • Algoritmo de otimização: Otimização dos parâmetros usando descida de gradiente estocástica para minimizar uma função de perda que combina perda L1 e D-SSIM, inspirada no trabalho Plenoxels.[7]
  • Rasterizador: Implementação de um rasterizador baseado em blocos para classificação rápida e retropropagação, permitindo a mistura eficiente de componentes gaussianos.

Referências

editar
  1. Westover, Lee Alan (julho de 1991). «SPLATTING: A Parallel, Feed-Forward Volume Rendering Algorithm» (PDF). Consultado em 18 de outubro de 2023 
  2. Huang, Jian (primavera de 2002). «Splatting» (PPT). Consultado em 5 de agosto de 2011 
  3. Westover, Lee. «SPLATTING: A Parallel, Feed-Forward Volume Rendering Algorithm» (PDF) 
  4. a b Kerbl; Kopanas (26 de julho de 2023). «3D Gaussian Splatting for Real-Time Radiance Field Rendering». ACM Transactions on Graphics. 42: 139:1–139:14. ISSN 0730-0301. arXiv:2308.04079Acessível livremente. doi:10.1145/3592433 
  5. Wu, Guanjun; Yi, Taoran; Fang, Jiemin; Xie, Lingxi; Zhang, Xiaopeng; Wei, Wei; Liu, Wenyu; Tian, Qi; Wang, Xinggang (junho de 2024). 4D Gaussian Splatting for Real-Time Dynamic Scene Rendering. 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). pp. 20310–20320. arXiv:2310.08528Acessível livremente. doi:10.1109/CVPR52733.2024.01920 
  6. soumyadip (17 de dezembro de 2024). «3D Gaussian Splatting - Paper Explained, Training NeRFStudio» (em inglês). Consultado em 15 de março de 2026 
  7. Fridovich-Keil, Sara; Yu, Alex; Tancik, Matthew; Chen, Qinhong; Recht, Benjamin; Kanazawa (junho de 2022). «Plenoxels: Radiance Fields without Neural Networks». 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). [S.l.]: IEEE. pp. 5491–5500. ISBN 978-1-6654-6946-3. arXiv:2112.05131Acessível livremente. doi:10.1109/cvpr52688.2022.00542 

📚 Artikel Terkait di Wikipedia

Sistema de partículas

Blau, Ricki (julho de 1985). «Approximate and probabilistic algorithms for shading and rendering structured particle systems». ACM SIGGRAPH Computer Graphics

Nível de detalhe

edu/~geom/HLOD/Dissertation/Dissertation.pdf. ↑ de Boer, W.H., Fast Terrain Rendering using Geometrical Mipmapping, in flipCode featured articles, October 2000

Jitendra Malik

Volume 12, 1990, p. 629–639 com P. E. Debevec, C. J. Taylor: Modeling and rendering architecture from photographs: A hybrid geometry-and image-based approach

Aritmética

Pharr, Matt; Jakob, Wenzel; Humphreys, Greg (2023). Physically Based Rendering: From Theory to Implementation (em inglês) 4 ed. [S.l.]: MIT Press.