Probaste con otros pendrive?
A veces un pequeño movimiento puede provocar la pérdida de conexión.
No se como estarás conectando, fijo lo conecto igual el pendrive al USB OTG y este es el que conecto/desconecto del teléfono(tanto pendrive como disco duro externo). No se si me explico, quiero decir que no dejo conectado el USB OTG al teléfono para luego meterle el pendrive, sino pendrive enchufado a USB OTG antes de conectarlo al teléfono.
Si eres root mira esta app
https://play.google.com/store/apps/d....shajul.usbotg