La información que muestra en su mayoria no está basada en lo que ve la cámara sinó en tu posición y orientación. Vamos, que usa el GPS+Wifi para localizarte con exactitud i la brújula para saber hacia donde estás mirando, y después superpone a la imagen capturada por la cámara las capas que hayas configurado.
Digo "en su mayoria" porqué si hay alguna cosa de realidad aumentada que saca información de imágenes, como aplicaciones de Google que te dan información sobre negocios, tiendas, etc.., y alguna que otra más.