He estado revisando mi configuración, y para que las notificaciones push de google estén activas tienes que ir a "Ajustes->Cuentas y sincronización", una vez aquí han de estar activados los "Datos de referencia", la "Sincronización automática", y dentro del las cuentas de Google veras que tienes:
Datos y sincronización
Sincronizar Contactos
Sincronizar Gmail
Sincronizar Calendario
Por lo que he podido observar, al marcar cada uno de estos lo que consigues es que cualquier modificación sea actualizada inmediatamente (con push). Es decir, las actualizaciones de los contactos, del calendario y las notificaciónes de Gmail.
Una vez activado puedes probar a enviarte un correo a tu cuenta de gmail y veras como inmediatamente te lo notifica tu cliente android de gmail, mientras que el cliente de correo (donde esta configurada tu cuenta de gmail como IMAP o POP3) tardará en notificarte el nuevo correo el tiempo que le tengas configurado entre actualizaciones (el mínimo he visto que es cada 5 min)
El fastidio de todo esto es que si quieres notificaciones push instantáneas solo las tienes con el cliente de Gmail, cualquier otra cuenta de correo que no sea Gmail no queda otra que configurarla en el cliente de correo "normal".
Espero haber clarificado un poco este tema.