Apple presenta SHARP, su modelo que convierte fotos 2D en escenas 3D en apenas un segundo

[Noticias]

Apple presenta SHARP, su modelo que convierte fotos 2D en escenas 3D en apenas un segundo

Apple ha publicado un nuevo estudio de investigación en el que presenta SHARP, un modelo de código abierto capaz de reconstruir escenas 3D fotorrealistas a partir de una sola imagen 2D en menos de un segundo. El sistema logra algo especialmente complejo: mantener escala y distancias métricas reales, lo que permite generar vistas tridimensionales coherentes desde ángulos cercanos al original. La clave de SHARP está en su uso de Gaussian splatting, una técnica que representa la escena mediante millones de pequeñas “nubes” de color y luz situadas en el espacio. A diferencia de otros métodos, que necesitan decenas o cientos de fotos desde distintos puntos de vista, SHARP puede predecir toda la representación 3D en una sola pasada de red neuronal. Esto reduce drásticamente el tiempo de cálculo y elimina procesos de optimización lentos por escena. Para conseguirlo, Apple ha entrenado el modelo con grandes volúmenes de datos sintéticos y reales, permitiéndole aprender patrones comunes de profundidad y geometría. A partir de una imagen nueva, SHARP estima la profundidad, la refina con lo aprendido y genera una escena tridimensional completa lista para renderizar en tiempo real. El sistema tiene límites: funciona mejor en vistas cercanas al punto original y no inventa partes completamente ocultas de la escena. Sin embargo, ese compromiso es lo que permite su velocidad extrema y estabilidad visual, superando claramente a modelos anteriores en calidad y eficiencia. Apple ha publicado SHARP en GitHub, y la comunidad ya está experimentando con usos que van desde fotografía computacional hasta posibles aplicaciones en realidad aumentada, visión por ordenador y contenido 3D.

fuente

[Noticias]

[lovechii]

Eso no es una marca japonesa

[apriliars3]

Esto ya tiene algo de IA que empieza a funcionar.

Si encima esa foto en 2D que ha pasado a 3D ya la anima y consigue que haya movimiento por unos segundos, será algo extraordinario aunque sabemos que es irreal y todo generado mediante animaciones con modelos informáticos.