Es normal a mi también me pasa, yo diría (sino que alguien me rectifique) que al estar el teléfono inactivo el procesador reduce la velocidad y por eso tarda mas en desbloquear.
Sólo haz la prueba de desbloquearlo, bloquearlo y volverlo a desbloquear, la segunda vez que lo desbloquees es instantáneo.
