Pues yo creo que un factor determinante es el espacio que crees que necesitas en tu móvil si crees que con 32GB vas sobrado el S6 va muy bien pero si crees que vas a necesitar más verás que el precio del S6 sube desproporcionadamente mientras que al note, le compras una tarjeta de memoria y vas apañado.
Por el resto de cosas tienes que valorarar tus necesidades. El note 4 tiene más más pantalla y más duración de batería, el S6 tiene una bastante mejor cámara y un hardware más potente. Mira tus necesidades.