Correcto. Lo descubrí con el Maps.
La solución: no llegues a tocar los 2 dedos entre si. Si los juntas mucho es cuando se vuelve "loco", mientras que si los mantienes separados, aunque sea muy poco, se hace el zoom bien. Al menos a mi me funciona así

