Hombre, tengo un colega que está en tu misma situación...
Lo más dificil será acostumbrarte a la "pequeña" pantalla del N4. Pero ganas en fluidez general gracias a la rom stock o CM y un soporte bastante amplio por parte de google y la comunidad. También pierdes el S-Pen y la pantalla amoled, algo que se aprecia bastante al ir directo a IPS (a mi me paso algo similar al pasar de la pantalla amoled del Galaxy Nexus al Nexus 4 pero ahora hoy por hoy prefiero la del Nexus4).
Es un poco sopesar pros y contras. Desde luego no vas a estar mal ni con uno ni con otro
