Buenas, me pasaba algo idéntico a lo que comentas, lo solucione borrando todos los contactos de gmail, osea entras en tu cuenta de gmail y busca algún apartado que ponga contactos (disculpa que no sea mas concreto pero no tengo el pc a mano para mirarlo), ahí te aparecerán todos los que estén sincronizados con tu cuenta, bien pues puedes borrarlos todos o solamente los duplicados o que no te interesen. Yo los borre todos, me puse a agregarlos de nuevo ya desde el móvil y ya no me ha vuelto a pasar más.

Espero que te sirva!

Edit: mira compi lo acabo de mirar dede el móvil y también me sale. Tienes que darle al Gmail que sale en rojo y en el menú que te abrirá te aparecerá 'contactos'.

Saludos!