Dentro de la agenda, ves a ajustes, contactos para mostrar. Ahi te saldra la lista de cuentas donde tienes contactos, como gmail, whatsapp, facebook... y selecciona solo la cuenta donde realmente guardas los contactos que tu quieres. Diria que puede ser eso