Efectivamente, como te han dicho antes es que en los contactos se muestran los de otras aplicaciones. En la agenda le das a los tres puntitos de arriba, te metes donde dice "Contactos que mostrar" y seleccionas sólo la cuenta de Google. Con eso ya no te deberían salir duplicados, y si te salen, los enlazas y se mergen en uno solo.