A mi tambien me pasa, es normal, pero no por eso se nota el telefono realmente mas lento.
La media de RAM libre suelen ser unos 50 - 60mb libres, aunque algunas veces baja un poquillo si le meto caņa a pesar del task killer.
Sobre el task killer, yo si hay algunas aplicaciones que las tengo en autokill, para que cuando se bloquea el movil automaticamente se cierren, pero tambien tengo unas cuantas excluidas, para que no me mate nada raro como decis por ahi arriba, ademas el Task Manager, el que yo uso, le tengo configurado para que ignore todas las aplicaciones de sistema.
Salu2