Hola
Una apk no isntalada no tiene acceso al sistema y por tanto no te puede infectar.
Lo que hace eso es descargarte una apk para que la instales ( y ahí es donde te valdría lo de las fuentes externas no antes). Pero no se instala automáticamente.
Esas apk se guardan el la carpeta download de tu sd con borrarla para no confundirte e instalarla estarás tranquilo
Saludos