Sobre lo de instalar Heimdall en MacOS no te puedo ayudar, ya que como te he comentado, utilizo Linux, aunque no creo que sea excesivamente complicado.
De todas formas, hay un tutorial ya hecho en este mismo foro:
http://www.htcmania.com/showthread.php?t=251193
También te puede ser de ayuda éste otro:
http://www.htcmania.com/showthread.php?t=160199 que fue el que yo seguí en su momento antes de que saliera la nueva versión de Heimdall, para que veas qué es lo que hay que poner en cada apartado. La nueva versión es básicamente la misma, pero con un buen lavado de cara, añadido soporte para más dispositivos y se han corregido algunos errores, poco más.