Yo tenia el mismo problema con los contactos, duplicados o triplicados, Gmail, Telefono y Sim.
Ahora solo los tengo en Gmail, sin copiar nada en el telefono, y desactivando los de la sim, y todo perfecto.
Si modificas algo en Gmail o el telefono, se sincronizan sin problemas.