Yo también uso Outlook desde hace tiempo pero sólo para una cuenta de correo de Hotmail (ahora Outlook) y no me pasa eso.
¿Ese problema te aparece con una cuenta de correo de Outlook/Hotmail en concreto o en cualquier correo, independientemente de que sea de Outlook, Gmail, Yahoo, etc.?
Entra en ajustes/aplicaciones y notificaciones/aplicaciones/Outlook y da a "detener", luego a "borrar memoria caché" y a "borrar datos" y, por último, comprueba los permisos (yo los tengo todos desactivados -calendario, contactos, memoria y su ubicación- y va perfectamente).
Un saludo.