Todavía no lo he probado, pero el reconocimiento de voz del movil puedes desactivarlo en la pantalla de configuración de "Conversación de voz".
Por defecto viene activada la opción Lanzar en Bluetooth. Esto hace que se lance el reconocimiento cada vez que se activa el manos libres por bluetooth. Si se desactiva la opción debería dejar de incordiar.
Saludos