Si, a mi también me pasa, después borro lo que no me interese, supongo que por algún tipo de sincronización... no he investigado eso...
De todos modos entras en Contactos -> Botón izquierdo -> Eliminar -> Marcas todos los que quieras eliminar y lo haces de una...
Personalmente no se de otra manera, a ver si alguien nos ilustra y sabe alguna manera mas fácil