Para no liarte con el tema de los contactos puedes hacer lo siguiente:
Entras en: CONTACTOS>MENU>VER y ahí marcas qué fuente de contactos te interesa y desactivas las demás.

Personalmente creo que la mejor opción es usar sólo la cuenta de GMAIL. Así el almacenamiento y el mantenimiento se hacen de forma remota, de manera que puedes consultarlo en la web, donde es mucho más cómodo añadir y ordenar contactos, además de que puedes hacer copias de seguridad con mucha facilidad, por si acaso.

Usando el almacenamiento remoto facilitas, por ejemplo, el poder pasar todos tus contactos a otro móvil con un simple clic.

Si lo haces así no volverás a ver duplicados y tendrás toda esa información bien guardada y unificada.

Saludos.