Es que precisamente los cambios en el rendimiento se deben a opciones como el overclock de cpu/gpu, el cambio en los gobernadores, optimizaciones varias...
Si vale la pena cambiar de kernel o no sólo puedes decidirlo tú mismo, lo mejor es q lo pruebes, veas como va y saques tus propias conclusiones.
