Es tan simple como el tamaño.
Los juegos no están preparados para funcionar en pantallas pequeñas y tienen que redimensionar todo a niveles tan pequeños que es complicado hacerlo sin perder elementos de la interfaz. Eso exprime más la CPU y la GPU.
La otra consecuencia del tamaño es la disipación de calor. Un teléfono pequeño disipa menos calor y por tanto se calienta más. Con el calor los procesadores funcionan peor. Además el XZ1 es de plástico, mientras que los otros dos son metálicos. El metal conduce mejor el calor y es más fácil echarlo fuera.
Por último está el tema de la batería. Una batería más grande puede suministrar más potencia de golpe que una pequeña. Si en algún momento el procesador necesita mucha energía, tal vez la del XZ1 no pueda proporcionar suficientes vatios.
Así que básicamente tienes un teléfono que se calienta más y tiene más dificultad para disipar ese calor. De ahí que el rendimiento en juegos pesados sea considerablemente peor.