Para mí el límite está en poder usarlo cómodamente a una mano. Para eso las 4,7" del Nexus me es perfecto....Aunque con una relación de aspecto más alargado (La pantalla del N4 es un poco más ancha de lo normal) las 5" también me irían bien.
Es decir, no todo se limita a tamaño de pantalla, los marcos, botones (físicos o no) y la relación de aspecto de la pantalla, también sin determinantes.