Usar el móvil de servidor en general no es factible, con WiFi por ejemplo tienes direcciones IP privadas y NAT, así que nadie podría conectarse a tu móvil desde fuera de tu red WiFi (salvo si configuras el router, abres puertos, etc.).
Mi cuatro en raya es bastante artesano, 100% API de Android, con custom views basadas en Canvas, y servidor propio programado en Java con sockets TCP.