Bajo mi punto de vista poco tiene que ver que el tlf se te despierte para que te tarde más en cargar. En todo caso los despertares hacen que la batería se te gaste antes que si entrase correctamente en deep sleep.
Limpia el conector de carga y sobre todo prueba con otro cable (con otro cable, no otro cargador) a ver si se te soluciona, ya que aunque parezca mentira los cables USB que viene con el tlf se estropean fácil.
Un saludo.