Las operaciones de lectura y escritura a la sd siempre son más lentas que en la memoria interna.
Por lo general se recomienda dejar launchers, teclados y widgets activos (que hayas agregado a lockscreen ó pantallas de inicio) en memoria interna y las que no sean de acceso frecuente y que no requieran muchos recursos en la sd.
Hay un mínimo de memoria interna que requieren los móviles para manejar bien el caché y que no se alenten. Varía por móvil y versión del SO. Tener unas cuantas apps en la sd liberando memoria interna es mejor que tener la memoria interna saturada.