Lo único que se me ocurre es que no pongas Divider y que la separación la hagas tú a mano.
android:divider="@null"
android:dividerHeight="0dp"
De todas formas, la última vez que salió una duda sobre el Navigation Drawer ya comenté que lo veo verdísimo, y más habiendo opciones tan buenas como SlidingMenuActivity. Que te permite usar elementos que no sean ListView (incluso puedes usar Fragments) y además tiene menú izquierdo y derecho.