Según tengo entendido. Todo uso de los componentes del terminal que no sea para el que se ha diseñado, es decir este altavoz para para llamadas con el teléfono pegado en la oreja, es perjudicial para los componentes al estar usándose por encima de sus posibilidades a priori. Otra cosa es cuanto de perjudicial sea y si se notará a corto plazo o no se va a notar.
En mi antiguo n5 lo tenía puesto bastante tiempo y no tuve problemas en meses.