Te contestaré fácilmente sin contar el Nexus 4 ya que dices que no le convence (Pero es el mejor calidad/precio sin duda):
SGS4 < "iPhone5" < Xperia Z < Htc One
El iPhone 5 lo pongo entre comillas porque hay personas que les encanta iOS (No lo comparto pero enfín) y es muy buen teléfono aparte de ir bien, comento desde la objetividad no soy un fanboy de ninguno S.O.
El peor de la llamada "gama alta" sin duda es el Galaxy S4... lleva un falso 8 nucleos (para engñar al comprador medio con marketing y humo), está hecho del mismo plástico y con los mismos acabados horrendos barateros del Galaxy S3 además de tener el mismo diseño (Vamos que no se han gastado ni un duro en este aspecto), yo solo espero que Samsung se lleve un hachazo en ventas y se dedique a innovar y a hacer smartphones en consecuencia al precio... un Galaxy S4 no puede valer igual que un HTS One o un Xperia Z porque es INMORAL aparte de que hay que ser cazurro para pagar plástico y encima malo a precio de aluminio pulido unibody o de la calidad del Xperia Z y otros muchos otros cuando la potencia es LA MISMA, aparte el Touchwiz es la mayor mierda que he podido ver...
En resumen... si le gusta iOS pues el iPhone 5 sin duda, es un buen telefono con buenos materiales, si le gusta mas Android y las pantallas grandes a mi personalmente me FLIPA el HTC One pero en cambio el Xperia Z tiene que es anti-agua y antipolvo ya lo que el mas valore... como dicen arriba Sony ya esta buscando sustituto al Xperia Z y esto no me gusta un pelo ya que acaba de salir... HTC va a apostar fuerte por el HTC One dejandole ser el unico de la gama "Top"