Yo uso spotify todos los dias en el coche por bluetooth, incluso la app tiene marcada la opcion en bateria de optimizarla y no me pasa eso, no se para nunca.
Prueba a reinstalar la app a ver si asi se soluciona, o a borrar sus datos....y si no como ultima opcion te tocara un factory reset.
Y si solo te pasa con esee altavoz bluetooth, a lo mejor es ese altavoz el problema.