Yo lo acabo de solucionar de la siguiente manera:
Contactos/Contactos que mostrar/Personalizar
Activamos nuestra cuenta de google pero ahí desmarcamos todo, solo demajos My Contacts. Mi problema es que también estaba marcada la casilla de Starred in Android y me salían algunos dupllicados o incluso triplicados.
