Si, puedes cambiarlos, dejas presionada la carpeta y le das a reemplazar, icono personalizado y listo..
Yo por ejemplo, no uso el appdrawer, de hecho no tengo ni lanzador ni nada para acceder a el, en las carpetas tengo todas las apps que instalo y las que vienen de casa, asi me ahorro el rollo del scroll y demas..
Saludos!