A ver, que el procesador sea un poco inferior no tiene nada que ver. Quizá se resienta un poco más en los juegos (pero muy poco, hablamos de 0,3 GHz de diferencia), sin embargo, el Galaxy Nexus va a ir mas fluido ya que trae una Rom bien limpita y optimizada.
En lo que sí perderás será en resolución de pantalla, capacidad de almacenamiento y, sobretodo, en el apartado multimedia. Ganarías más fluidez y alguna actualizacion más (como mucho, hasta 5.0).
En mi opinión, sales perdiendo con el cambio. Si fuese por un Nexus 4, te diría que ni te lo pensaras. Pero siendo un Galaxy Nexus, dudo que ganes más de lo que pierdes con el cambio.
Un saludo.