Buenas,
pues puede ser por varios motivos...
Tener muchos archivos pequeños (lo cual ralentiza bastante la copia de información).
Que el sistema de archivos esté corrupto o defectuoso.
Exceso de fragmentación...
Para saber si la tarjeta está bien, yo probaría a pasar toda la info al PC (por lento que vaya) y rehacer las particiones. Una vez hecho esto, y con la SD en blanco (sin restaurar datos) copia un único archivo más o menos grande (a partir de 10 mb por ejemplo) y comprueba las tasas de transferencia reales con un lector de tarjetas o, si no tienes ninguno, con el teléfono conectado en modo USB (no uses ningún benchmark).
Yo tengo esa misma tarjeta y me va bien (5mb/s con uso normal del teléfono y entre 6 y 7 mb/s si está recién reparticionada).