El problema de no liberarla es que aunque el programa no este funcionando esa memoria esta siendo usada con basura o restos de la aplicacio, por lo que no esta disponible para su uso.
Prueba la aplicacion y ademas de ver que el % es inferior, enseguida veras que el rendimiento a mejorado mucho...