Eso pasa porque accedes a los contactos a través de la aplicación de llamada.
Si solo quieres ver los contactos almacenados en Gmail tienes que entrar en la aplicación de contactos directamente.
Yo utilizo Nova Launcher y en el Dock principal tengo el icono del teléfono y tengo editado que cuando deslizo ese icono hacia arriba me sale la aplicación de contactos directamente. De esa manera no me salen por duplicado.
Si accedes a tus contactos desde la aplicación del telefoneo te saldrán duplicados y la forma que tengo yo de no tener dos iconos relacionados con lo mismo es haciendo lo que te e dicho.
Entra en contactos directamente y elige una forma de mostrarlos y veras que no duplican.