Apoyo lo que dice @vjchipie hay algún tipo de bug con el recolector de basura o lo que sea. En KK no había problemas de lag. Me he dado cuenta que muchas veces el móvil se queda sin RAM y entra en una especie de bucle que se tira todo el rato reiniciando la mayoría de apps que hay cargadas en memoria.
Parece que aquí comentan algo y no es imaginación mía:
http://www.androidpolice.com/2014/11...out-a-restart