Necesitas un programa "especial" o un explorador de archivos root para eliminar la aplicación. Desde la funcionalidad "normal" del sistema no puedes eliminarla.
Por ejemplo Titanium Backup te permite eliminarla (aunque no sé si sólo en la versión de pago o también en la gratuita).
Saludos!