Bueno, ya me respondo yo por si a alguien le pudiera ser de utilidad.
He desactivado S-voice desde aplicaciones dentro de configuración pero google now seguía sin ir. Me he ido al play store, he desinstalado google (no lo desinstala del todo, solo quita las actualizaciones), le he vuelto a dar a actualizar desde ahí mismo y ya me salta google now al usar el boton del manos libres.
PD: Como añoro mi Windows 10 y mi cortana y no tener que andar haciendo zarandajas para que funcionen las cosas como quieres.