Es normal a mi también me pasa, yo diría (sino que alguien me rectifique) que al estar el teléfono inactivo el procesador reduce la velocidad y por eso tarda mas en desbloquear.
Sólo haz la prueba de desbloquearlo, bloquearlo y volverlo a desbloquear, la segunda vez que lo desbloquees es instantáneo.
Estuve trasteando con el setcpu y puedes aumentar la velocidad aunque el teléfono este en "reposo", pero lógicamente consume mas batería.
Saludos,