A mí me ocurria en my Xperia X10. Es un coñazo. Es un problema de Spotify, no del Nexus 4. Todavía no he averiguado cuándo ocurre exactamente, porque a veces ocurre y otras veces no.
Mis sospechas ahora mismo son que puede ocurrir cuando sincronizas las listas de tu móvil a través de la aplicación de escritorio (que es más cómodo). Llevo un par de días desde que descargué las listas desde el teléfono una a una y por ahora va bien.
El problema no es nuevo, los foros de Spotify están llenos de quejas al respecto desde hace más de 1 año, pero parece ser que no lo han arreglado aún. Muy mal por Spotify.