Digo yo que que se ralentice no depende del tamaño de la tarjeta, sino de la velocidad de la misma (la Clase).
Yo tengo una de 16GB y no funciona más lento el móvil. De hecho, como es Clase 6, las transferencias de datos al PC son más rápidas que con la original.
Saludos.