Si puedes, poniendo un NavigationDrawer en cada Activity.
De todas formas si tienes problemas con Fragments es simplemente por no saber usarlos. Yo uso SlidingPaneLayout con Fragments y no tengo ningún problema. Si el "escalabrarte la cabeza" es por tener un botón en la Activity que se tiene que comunicar con el Fragment (o viceversa), desde la Activity puedes acceder al Fragment mediante el propio objeto del Fragment, y desde el Fragment a la Actvity mediante "getActivity()" (y casteando después)
La programación con Fragments cuando la controlas te ahorra mucho tiempo, yo he tenido casos de usar el mismo Fragment para 2 Activities distintas con ViewPager que uno de los elementos del ViewPager era el mismo Fragment pero el resto eran distintos.