La lente teleobjetivo tiene una distancia mínima de enfoque mayor que el resto, más o menos 1.5m...
Si estás enfocando a algo más cercano que esa distancia no la va a usar, esto y el otro requisito de un mínimo de luz como comentó el compañero es lo que tienes que tener en cuenta.
La gestión del zoom es por lógica, si no se dan las condiciones para que te pueda dar una imagen clara va a usar otra lente en la que pueda enfocar o ver con más luz.
Está gestión de lentes es la misma para vídeo que para fotos, las únicas opciones que tienes para forzar el uso de la lente tele dando igual estas condiciones son: o usar el zoom X10 o usar el modo pro (en video esto no aplica)