Perderás las modificaciones a system (temas, apps desinstaladas, apps que puedes haber convertido a sistema, etc).
En cuanto a tu pregunta, es posible que el equipo empieze a dar fallos aún sin trastear. Sólo daños de hardware son irreparables al cambiar software. Si no te has metido con overclock, undervolt y cosas similares, no veo cómo una instalación en limpio del mismo firmware con las mismas apps que tenías te anda peor. La cosa es que una rom stock instalada en limpio, va a funcionar como rom stock instalada en limpio. Apps y modificaciones hechas después son lo que dan la experiencia de usuario.
Los problemas pueden surgir sólos (por desgaste del hardware) ó a base de modificaciones. Cada móvil es un mundo, hay miles de cosas que te pueden mejorar y empeorar la experiencia de usuario, si ves que un cambio no te va del todo bien, pues lo deshaces y listo.