La única forma de borrar contactos de WhatsApp que ya no tienes en la agenda es: hacer copia de seguridad de WhatsApp, quitar WhatsApp (eso elimina todos sus contactos) y volverlo a instalar (al sincronizar la agenda ya no saldrán los contactos que hayas quitado).
Esta así de mal...