Que la RAM tenga cosas no hace que el teléfono vaya lento. De hecho la RAM está para usarse.
Otra cosa distinta es que necesites usar más RAM de la que te queda libre, entonces sí.
Pero el propio sistema Android cierra las aplicaciones y servicios que están en segundo plano si la que está en primer plano necesita más memoria.
Otra cosa que se suele desconocer, es que las aplicaciones que están movidas a la tarjeta SD o que se han pagado en el Google Play, ocupan RAM, porque se quedan guardadas en la RAM permanentemente.
Que con Android 4.1.2 vaya más lento el teléfono que con 2.3.7 por ejemplo, pues es lógico y normal. El software avanza, pero el hardware también. Seguramente Android 5 o 6 en un móvil de menos de 4 núcleos no tirará.
Ahora bien, que te vaya REALMENTE lento no es normal.
¿Puedes poner alguna captura de pantalla de la lista de aplicaciones en ejecución y segundo plano?