Efectivamente, marcad que sólo se visualicen los de la SIM, por ejemplo y te dejará la opcion de marcarlos todos y borrarlos de una sola vez.
Contactos -> Configuración -> Mas -> Opciones de pantalla -> Seleccionar contactos para mostrar -> Seleccionar Teléfono
Configuración -> Eliminar -> Seleccionar todo -> Eliminar