Entras en Agenda de Favoritos, parte superior derecha: Editar Favoritos, vas al Contacto que quieres eliminar, marcas con un aspaen el cuadrado que está a la izquierda de la foto, luego pulsas GUARDAR y ya está. Quedará eliminado.
En algunos casos ese contacto ha sido vinculado y sigue apareciendo el contacto en Favoritos, en consecuencia hay que desvincular el contacto de los otros vinculos e ir eliminando de la tecla FAVORITOS de edición del contacto todas aquellas teclas de vinculos en las que aparezca FAVORITOS hasta que no quede ninguna. Entonces se guarda la ficha de Edición del contacto y luego se hace el primer paso que cité al principio (Eliminar marcando un aspa y guardar).
Yo lo hice y quité todos los contactos que no quería de Favoritos sin eliminarlos de mi Agenda de Contactos