Bueno solo basta con que vayas o directamente a la galeria (navegando por el navegador de archivos) o ir a la sdcard0 y mantener pulsada la imagen durante más de 1 segundo, entonces te aparecean unas obciones en un menu contextual, las cuales una de ellas es la de eliminar el archivo.
Pruebalo y nos cuentas.