A mi también me pasa. En el anterior moto g no me pasaba y en un nexus 5 que tuve tampoco. Supongo que con android L se correjira.
Con ART se nota bastante mejora en cuanto a fluidez, en cuanto a batería me da la sensación de que también mejora algo.
Yo a cuenta de que al iniciar se queda optimizando, me he vuelto a dalvik.