Que restaure como? de fabrica? si, tienes en seguridad (creo) restaurar valores de fabrica, y en el recovery también.
De todas maneras, si tienes sincronizados tus contactos con tu cuenta gmail, entra en cuentas y sincronización, mira si esta marcada la de sincronizar contactos, si esta la desmarcas y vuelves a marcar