Sí que se duplican, pero en la agenda del teléfono puedes usar la función "ver" del menú y decirle que sólo te muestre los del Google Contacts.
Por otro lado, entra después en la página de Google Contacts y usa la opción de detectar contactos repetidos.