Al utilizar Android hay que cambiar el chip con respecto a Windows. La filosofía es Memoria no Usada = Memoria Desperdiciada. Es decir, que Android se plantea como objetivo tener el máximo de RAM posible en uso, siempre dejándose un margen por si de repente abres una aplicación muy pesada, para ello mantiene cargadas las aplicaciones que nota que usas más, para que tengas acceso a ellas más rápido. Este es un sistema que funciona en general bastante bien, y sólo debes alarmarte si tu memoria se mantiene siempre por debajo de unos 60 MB, en ese caso deberías plantearte si necesitas todas las aplicaciones que tienes instaladas. El mismo sistema se utiliza en las últimas versiones de Linux e incluso en Windows 7 (aunque este último descuenta las aplicaciones que abre solito a la hora de darte los datos, porque con las betas les cubrieron a quejas los usuarios).
Si usas un task-killer lo único que consigues es interferir en este proceso, es decir, si tu (o el task-killer) te empeñas en cerrar una aplicación, Android nota que se ha cerrado y la vuelve a abrir, y en esa pelea consumes tiempo de CPU, es decir, el sistema se ralentiza. Seguro (y te lo digo por experiencia) que si desinstalas el task-killer te irá mejor. Confía en Android ;)