Cosa del bootloader no es, porque abrirlo y cerrarlo formatea el teléfono de arriba a abajo, datos personales incluidos. Además de eso, no sé si Bootunlocker funciona en Marshmallow o Lollipop.
A lo mejor no se ha instalado bien el recovery y solo lo has lanzado por ADB, creo que eso es posible hacerlo. Así que repite el proceso de instalación y lee bien las instrucción es, por si acaso. También, elige la versión adecuada para nuestro Nexus 5, que muchas veces la última funciona pero no siempre es la más recomendable o estable.