Puedes sustituir un fragment por otro, ¿el ListView está en un fragment?
Cuando añades un fragment lo que hace es añadirlo al contenedor en cuestión, pero si ahí había cosas que no sea un fragment que el fragment manager haya puesto o tuvieras definido en el XML, entonces no lo quita.