El Note 4 tiene una resolución de pantalla mucho mayor (Full HD del Z3 vs 2k del Note 4) y también mayor tamaño de pantalla (5.2" del Z3 vs 5.7 del Note 4)
además tiene una CPU más potente (snadpragon 801 vs 805) con su correspondiente GPU

eso es lo que le veo que puede "ser mejor" del Note 4 (para mi la resolución y el tamaño de pantalla es un inconveniente)

Lo mejor para el Z3:
-la cámara (20.7mpx vs 16mpx)
-resistencia al agua

iguales:
-ram
-batería (proporción tamaño de pantalla - mAh apenas tienen diferencia)

Lo mejor sería que pudieses tener los dos en mano y ver cuál es mejor para ti. Yo estuve entre el Note 4, el M8 y el Z3, vi las specs, los tuve en mano, y aunque el M8 se sentía mejor, por tamaño de pantalla y specs me quedé con el Z3, ya que el Note 4 además de resultar demasiado grande para mi uso (siempre viene alguno que te dice que te acabas acostumbrando, pero yo uso mucho el móvil con una mano y los Note son imposibles de usar así.... al menos para mi) no me daba una buena sensación por los materiales usados (no lo sentía "premium")

Por lo que, después de todo el tostón, intenta acercarte a un centro comercial, The Phone House, alguna tienda de una operadora... y si no los tienen en exposición puedes solicitarlos para probarlos. Si los tienen encendidos, mejor, así ves la capa de personalización (que personalmente, entre Sony y Samsung, me quedo con el Sony, sobre todo por el Touchwiz, que me resulta horrendo....) y puedes usarlos un rato.

Espero haberte ayudado ;)