Ambos son terminales de gama alta y compiten en el podio de los mejores móviles de la actualidad.
¿Mejor uno que otro? Depende de para que.
Si quieres tener la experiencia Android stock, comprate el NExus; si quieres batería, el Mate 8.
En cuánto la pantalla, quizás el Nexus 6P es un poco mejor, ya que es Quad HD, mientras que el Mate 8 es Full HD (aunque la experiencia de pantalla con éste último es magnífica).
Yo, si tuviese un 6P no me cambiaría al Mate 8 a no ser que necesitase mucha batería.