Tienes que redefinir el listener del botón aceptar (AlertDialog.BUTTON_POSITIVE), y ahí ya puedes no hacer nada si los datos están mal o llamar al dismiss() para que se cierre si están bien.
Hay un ejemplo completo aquí:
http://stackoverflow.com/questions/2...ton-is-clicked