Yo lo he solucionado haciendo lo siguiente:
Si usas de launcher el Google Now Launcher pulsación larga en el escritorio y pulsas en ajustes, si tienes otro launcher para acceder ahí abres la app Aplicación Google y pulsas en ajustes. Después te vas a Voz --> Manos libres y desactivas la opción tanto de bluetooth como de auriculares con cable.
A mí así es como me lo ha dejado de hacer.