A mi me pasa igual, me pasó en un Nexus 5 cuando actualicé a 5.1.1 AOSP y ahora en mi Galaxy S6, ni idea. Es más notorio cuando está en Wi-Fi, pero tiene que ser error del sistema.
PD: Downgradee a 4.4.4 AOSP y se acabó el problema en mi antiguo Nexus 5. Intenta algo similar.
