Hago un up al tema para comentar que he descubierto de dónde viene el problema:
Parece ser que al poner demasiada información en un mismo contacto este peta. Tengo que seguir investigando, pero parece ser que las cosas para que pete es que:
1. Tenga foto
2. Tenga mensajería de gmail
3. Tenga mensajería de messenger
Lo comento sobre todo por si a alguien le pasa. Imagino que esto es algún tipo de bug, no sé si se podrá reportar en algún sitio para que alguien lo arregle, pero es un poco "cutre" que pase esto.