Como todo, depende. Fundamentalmente de tus gustos y sobre todo necesidades.
El S6 me parece un buen móvil (tanto el "normal" como el edge), de hecho son unos pepinazos.
Sin embargo, mi opinión personal (según mis gustos y necesidades) me quedo con el Note 4, fundamentalmente por dos motivos, la batería extraible (si al cabo de los meses empieza a fallar le pones otra y listo) y la expansión de memoria por MicroSD (Es cierto que el S6 tiene versión de 128 Gigas, pero el precio se dispara mucho)
Respecto al tamaño, es cierto que es grande, pero para nada inmanejable, aunque esto último depende del tamaño de manos y dedos.