Si puedes acceder a la configuración del router y alli le indicas que debe usar esas DNS, todos los equipos que conectes por DHCP cogeran las DNS que tiene el router indicadas. Y si no quieres usar las DNS de Jazztel tienes las de Google que casi seguro son más faciles de recordar:
8.8.8.8
8.8.4.4