Que raro, no he notado un cosumo de bateria significativo con Lollipop. Te recomendaria probar con apps como Battery Mix para detectar cuales apps estan causando el consumo de bateria anormal y luego usar el app Greenify para neutrizarlos en caso de ser posible.
Con respecto a estabilidad y rapidez, el Nexus 4 tiene más que capacidad suficiente para manejar Lollipop.