Primero puedes exportar a la sd los contactos de tu agenda, con lo que se te creará un archivo vcf donde están todos esos contactos.
Después borras todos los contactos de la agenda, por ejemplo con una app que se llama contact deleter. O flasheas el firmware y lo dejas de fábrica con lo que tu agenda estará limpia.
Abres el archivo vcf con un editor de texto y borras los contactos que no te interesen.
Si tienes por ejemplo una app en tu movil llamada AntTek (explorador editor de archivos) te puede servir abriendo el archivo con el editor de texto de esta app. Aunque en word o excel se ve mejor y más fácil de borrar.
Para borrar un contacto:
desde Begin:vcard hasta End:vcard.
O sea, editas el archivo vcf y después lo vuelves a importar a la agenda.