Si, almacenando en un SharedPreferences el número de veces que se ha creado la Activity inicial, y cuando sea 5 muestras el Dialog.
Sólo una cosa importante, tendrás que almacenarlo cuando el savedInstanceState sea null, señal de que es la primera vez que se crea y no fruto de una destrucción y posterior construcción por haberse quedado el sistema sin memoria.