Si desactivas la sincronización de contactos es posible (pero no lo garantizo) que funcione y solo se te quede una copia local.
La verdad es que para mi es imposible pensar en no tener los datos sincronizados automáticamente, pero bueno, hay que respetar tu opinión y espero que consigas lo que quieres.