Pues como tu has dicho si lo que le molesta del N6 es el tamaño, entonces que vaya directo al Nexus 5X. Aunque también he de decir que es un poco más grande que el N5, lo digo por si se piensa que es igual de tamaño.
Por otro lado, lo único que perdería sería en sonido, pero ganaría en todo lo demás: cámara, lector de huellas, USB Type C, pantalla, etc.
De todas maneras el cambio no es muy grande, así que si está a gusto un año más, a lo mejor el año que viene Google sorprende con un Nexus 5P o un Pixel Nexus (de fabricación propia y a un nivel superior, como el Pixel C).
Por último, aunque una pantalla es 2K y la otra Full-HD, que no se ralle, la del N5X es bastante mejor que la del Nexus 6. No todo en la pantalla es la resolución.
Un saludo ;)