Si le has dado a format system te has cargado la partición system ENTERA, es decir, te has cargado todo el sistema operativo. Se ha dicho muchas veces que hay que ir con cuidado con el TWRP.
Puedes entrar en el modo fastboot? Si puedes intenta flashearle una factory image a ver si te deja. Recuerdo que por aquí había un tutorial para este caso, a ver si lo encuentro.
Un saludete!