Sólo si el teléfono tiene OTG, que creo que a día de hoy sólo lo tienen el S2 y el S3. Y al no ser algo soportado directamente por Android tendrías que usar alguna API a bajo nivel que dependerá del dispositivo.
En cambio creo que Tablets si hay bastantes que lo soportan, pero lo mismo, tendrás que usar alguna API que dependerá del fabricante.