El grupo "Todos los contactos" administra los contactos a los que envías o recibes un correo y no tenías información de él en la lista de "Mis contactos". En "Mis contactos" aparecen los contactos que previamente has editado o guardado con algo mas de información que la dirección de correo.
No solo con darle a Mover a "Mis contactos" se mueve a esa sección, con darle a editar y guardar, verás que también funciona, aunque no cambies nada.
Una pega que veo yo a esto, es que no hay forma de saber (o por lo menos, yo no lo sé) de cuales son estos contactos que te "sobran" del listado de "Todos los contactos" a no ser que los selecciones de uno a uno. En mi caso tengo 504 en "Todos mis contactos" y 496 en "Mis contactos" y es un peñazo ir de uno en uno...