Normalmente eso ocurre xq tenemos poca memoria libre, y al tener muchas cosas instaladas, sea por app2sd o sin el; el teléfono necesita liberar memoria y en ese proceso se ralentiza.
Al matar las aplicaciones como comentas, va más rápido, ya que has liberado memoria.