Las aplicaciones se actualizan automáticamente constantemente, aunque las tengas actualizadas. Y cuando el telefono se pone a actualizar aplicaciones se come muchos recursos, y si justo en ese momento estas jugando pues se te ralentiza el juego. Eso es normal.
Además, aunque a ti no te lo parezca, el teléfono está constantemente haciendo cosas en segundo plano, unas del sistema operativo (Android) y otras de las aplicaciones que tengas instaladas (si es el caso). Cualquier proceso que necesite muchos recursos y se ejecute justo cuando estás jugando te ralentizará el juego (eso se llama multiproceso o procesos a tiempo compartido).
No te olvides que lo que tienes es un smartphone (teléfono inteligente) que en realidad es un ordenador de bolsillo. NO ES UNA VIDEO CONSOLA.
Y eso no te pasa solo cuando juegas, pasa cuando el telefono tiene la necesidad de ejecutar procesos en segundo plano. Otra cosa es que tú lo detectes cuando juegas que es cuando mas tiempo pasas con el teléfono en funcionamiento. Además los juegos por lo general necesitan muchos recursos y eso de compartir recursos con otros procesos no les sienta bien
Un saludo.