Pues si esperas unos dias ,tendre el tutorial respecto a eso
podrias intentar abrir la app con winrar o 7zip y mirar dentro de res/drawablehdpi, aui estan la mayoria de imagenes
Solo buscas el icono de la app, y añades el icono nuevo sin descomprimir de preferencia
ten en cuenta que la imagen que añadas tiene que tener las mismas especificaciones que la original, es decir
formato, la mayoria son png
tamaño, x pixeles por y pixeles
nombre, tiene que ser el mismo de la imagen a remplazar
con eso tienes para empezar, recuerda hacer un respaldo de la app antes de modificarla por si llegas a estropearla