Pues te recomendaría 2 cosas:
1) Esta no estoy seguro si pueda servir pero puedes juntar los números de los contactos en una sola persona. Por ejemplo si tienes el número móvil y el local de alguien ponerlos en el mismo contacto. Creo que estoy diciendo una tontería o algo demasiado ilógico pero puedes probar.
2) Aceptar la opción de hacer respaldo en los servidores de Google. No recuerdo como fue hice para que se respaldaran ahí en Gmail pero puedes ver por la app de contactos.
Ojala te sirva. Suerte