Eso es porque se guardan en la caché,
Ve a opciones/ajustes/datos y almacenamiento/ uso de almacenamiento
Y pon conservar multimedia tres días, que por defecto viene puesto sin límites, con lo que conlleva eso, y no es otra cosa que llenarte toda la memoria mientras tenga espacio sin límite de tiempo.
Y más abajo dale a borrar caché de telegram.
A mí me pasó lo mismo, tenía la memoria llena y era porque tenía más de 40 gigas ocupado por la caché del telegram, me tardo más de una hora en borrar todo, increíble.
La verdad es que venga por defecto en "sin límites" es una gran cagada.
No te preocupes por borrar fotos de telegram, podrás volver a bajarlas después de nuevo.