Según tengo entendido no se guardan, se baja como temporal y una vez instalado se borra.
De hecho hace un tiempo salió una "modificación" para el Market para que el APK se quedase guardado, así podías comprar una aplicación y devolverla en menos de 15 minutos (para que te devolviesen el dinero) y después instalarla con la copia que se quedaba almacenada.