Puedes borrar la apk de Contactos que viene por defecto y sustituirla por otra app cualquiera, una app muy buena para contactos que he encontrado es
Contactos + yo no la he probado pero tiene muy buena pinta, aunque siempre puedes buscar la apk de Contactos de otro móvil y metérsela al Xperia U.