A mi uno no me lo parece, por el contrario aparte de las nuevas animaciones que salieron despues de android 5 que le dan un toque mucho mas suave, también te actualiza los drivers (en Android 6 por lo menos) lo que lo hace ir bastante mejor, puedes probar tu mismo con antutu y comparar. Yo te recomiendo actualizar

.
Hay por ahí alguna comparación en YouTube de 4 vs 5, y como que Android 6 es la versión optimizada del Android 5 ya te imaginas los resultados
