Para regresar a la ROM oficial limpia:
Ajustes > Copia de seguridad y restablecimiento > Restablecer datos de fábrica.
Esto debería ser suficiente para devolver el funcionamiento normal al teléfono.
Para eliminar aplicaciones de la ROM oficial limpia hay que contar con permisos de superusuario (ser root) y utilizar aplicaciones tipo Root Explorer, Root Uninstaller, Titanium Backup,...
Las ROMs stock u oficiales suelen incluir unas cuantas aplicaciones innecesarias. Podríamos decir, siguiendo tu argumentación, que dichas ROMs no son del todo "básicas". Si se quiere una instalación más básica hay que acudir a las "custom" ROM o ROMs personalizadas. Para instalar éstas es necesario "rootear" el teléfono y cambiar también el instalador oficial (Recovery) por otro personalizado (Clockwork Mod Recovery). Estas dos modificaciones suelen realizarse a la vez con un mismo método. Hay tutorial en el foro sobre cómo hacerlo.
http://www.htcmania.com/showthread.php?t=328431
Este tutorial sólo es válido para el Note. Para el i9100, hay que seguir otro en la sección correspondiente.
http://www.htcmania.com/showthread.php?t=582972