No puedes tener un elemento con scroll en un contenedor con scroll en el mismo eje. (Por poder puedes, pero pasa lo que comentas.
¿Estás seguro de que quieres que el usuario no sepa qué se va a mover cuando intente hacer scroll?
Yo lo primero que haría sería convertir ese LinearLayout a RelativeLayout; colocar todo el texto de arriba, luego el de abajo y al final al ListView decirle "below=texto de arriba" y "above=texto de abajo".