Os explico:
Contactos --> Grupos --> <Menu> seleccionáis "Grupos de sincronización". Desmarcáis Sincronizar todos los contactos, y habilitáis el resto de grupos.. y tachán! ya no salen todos esos contactos que se agregan tras recibir un mail..
Saluditos!