Yo lo he solucionado editando contacto por contacto en google contacts (desde el navegador). No se por que tenia repetido el numero movil 2 veces (y en ocasiones 3 veces) de cada uno de los contactos.
Tremendo coñazo tener que hacerlo asi pero ha sido la unica forma de conseguir que no me salieran duplicados o triplicados.