No se puede instalar un .IMG con ninguno de los TWRP que hay para Mate 9. Punto. Ninguno está lo suficientemente desarrollado y tienen funcionalidad muy básica.
Por otro lado no entiendo por qué estás teniendo problema para instalar la ROM por FASTBOOT. Revisemos lo siguiente:
1. Te aseguraste de dejar activada la depuración USB desde Oreo Stock antes de hacer cualquier cosa?
2. En FASTBOOT te aparecen las dos cosas en rojo (FRP y la otra)?
3. Veo que dices que renombraste tu GSI (imagen de treble) como "SYSTEM. IMG". Ese espacio después del punto no te sirve y no debe existir. La imagen debería ser "SYSTEM.IMG".
4. El comando de flasheo es "FASTBOOT FLASH SYSTEM SYSTEM.IMG" si tu imagen se llama "SYSTEM.IMG", Fastboot es el ejecutable, flash es el comando, system es la partición y de último va el nombre del archivo que vas a flashear.
Yo ya pude instalar AOSP de Phh sin problema, funciona play store y ya no se me crashean las apps, pero igual no estoy conforme con la cámara y otras cosillas así que por el momento prefiero stock.
¡Estoy pendiente
!
