Al usar particiones EXT este movil , esta accediendo continuamente a la SD el movil para buscar datos o para leer y escribir sobre la SD, asi que uan SD rapida te vendra mejor , pero tambien depende de la rom que uses, cantidad de aplicaciones que tengas metida, Ram etc
Mira esta tabla de velocidades de escritura y lectura por marca
http://oldwiki.cyanogenmod.org/wiki/SDCardSpeedTests