Si es por rapidez, lo mas rápido es ext2, o sea la que se crea por defecto...
Pero no tiene comprobación de errores y es mucho mas facil que se corrompa...
Ext4, es la mas segura ante errores por el jourlnalist, pero literalmente 'machaca' la SD, ya que hace multiples lecturas/escrituras en la SD, cosa nada recomendable, ya que una SD, tiene un numero finito de escrituras, durante su vida.
Así que la mejor relacion entre velocidad y seguridad es ext3, y por eso se recomienda.
En un PC, con un disco duro, es otro cantar....