Eso es por que tendrás visible todos los contactos de otras aplicaciones ( Hotmail, whatsapp....)
Si abres la aplicación de contactos y en ajustes/contactos que mostrar, seleccionas sólo la cuenta de Google verás sólo los contactos que tienes en la cuenta de Google. En cambio si lo pones en TODOS, verás hasta la última dirección de correo que tengas en Hotmail del año de la castaña y no te acuerdas....