Todo influye colega
.
La rom si es pesada y tiene mucha tonteria visual (ej. roms con estilo galaxy S5) hara que el telefono tenga muy poca memoria libre y tenga que estar continuamente vaciando y volviendo a leer. Eso gasta bastante.
El kernel influye en la forma en la que funcionan los perifericos a bajo nivel: wifi, procesador, etc.