La cosa es que a mí nunca me baja de 20Mb. Supongo que cerrarás las aplicaciones por completo, verdad?
Muchas veces aunque pulses sobre la X el programa no se cierra y se queda en memoria. Para eso está el pBar y su opción xX que cierra todos los programas abiertos.
Otra posibilidad es que hayas instalado algún programa que te esté usando esa memoria.
Un saludo