No es que te queden "residuos", no sé si sabrás que según el tamaño de clúster se emplee en la partición se desperdicia "x" KB's y eso pasa en todos los sistemas de particiones. Así que eso que mencionas es totalmente normal.
Según tengo entendido los sistemas de particiones de Linux son los que menos espacio desperdician.