Pues no.
En mi caso al menos, la conexión al bluetooth es bastante rápida, un par de tonos de llamada a lo sumo (¿Y lo que tarda el teléfono en sonar, desde que llega la llamada? Ese tiempo también sería útil).
Gastar batería,se gastaría mucho menos que llevando el bluetooth siempre conectado, que es lo que hace mucha gente.
Y para rizar el rizo, cuando recibes una llamadada, incluso teniendo conectado el bluetooth, puedes cancelar el manos libres en el teléfono y hablar con él directamente. Y si estás acompañado en el bar, los que están contigo pueden dar explicaciones, aunque no sería necesario. Amén de que sería la situación menos habitual en la que te encontrarías.
Entiendo que hablas desde tu desconocimiento, como indicas; pero muchas veces es mejor no decir nada, y parecer tonto, que hablar y confirmar todas las dudas (la frase no es mía).