Yo también vengo de un Nexus 5, también me gusta Android puro, y en general estoy muy satisfecho con el cambio.
En cuanto al hardware, vas a ganar en casi todos los aspectos: cámara, sonido, autonomía, etcétera. Los acabados son de gran calidad. Respecto a qué vas a perder, quizá la respuesta táctil era mejor en el Nexus 5.
En cuanto al software, Cyanogenmod viene a ser Android puro con algunos añadidos interesantes que permiten una mayor personalización, pero manteniendo la interfaz, fluidez, etcétera.
Por lo que respecta al soporte, desde Cyanogen se han comprometido a brindar un mínimo de dos años de soporte oficial, es decir, más que en el caso de los Nexus. También han asegurando que actualizarían a Android L en menos de 3 meses. Por mi parte, desde que tengo el terminal he recibido varias actualizaciones que han ido solucionando la mayoría de bugs y también añadiendo algunas características nuevas, en especial para la cámara.
Personalmente te lo recomiendo.
Un saludo.