Los grupos, si no me equivoco, y a no ser que se haya modificado manualmente entran dentro de "mis contactos", que es lo que sincroniza.
"Todos los contactos" no lo sincroniza porque simplemente son "mis contactos" más direcciones que has usado puntualmente (antes tambien guardaba los contactos que te mandaban correo pero no estaban entre tus contactos) sin tenerlas dentro de "mis contactos".