Como dicen los gurús de android: Una memoria no usada, es una memoria desperciada.
Acostumbrate a eso, el mismo sistema operativo es el que se encarga de cerrar/abrir aplicaciones para que todo vaya fluido. Yo no me preocuparía por ello.
Ah, y no uses taskillers, su uso aumenta el gasto de batería.
Un saludo.