Correcto,
no hagas Wipe Data Partition porque sino todos tus datos se irían a paseo

y de caches hay esas 2, la "normal", y la Dalvik. La cache la puedes borrar siempre que quieras, no hace daño.
Yo cuando hago un backup "mío", al restaurarlo suelo restaurarlo por completo (opción Restore, no Advanced Restore), no solo System y Data, pero quizá lo que dices funcionaría.
