En la mayoría de los casos con crear un XML único es suficiente, habrá casos donde te interesará crear layouts distintos, sobre todo para landscapes o tablets. Yo hasta ahora no me he encontrado ningún caso en el que necesitase crear un layout para cada tipo de pantalla, trabajando con RelativeLayout y con Weights (en LinearLayout) suele ser suficiente.
Y respondiendo a tu pregunta, supongo que lo que quieres decir es que estás usando un RelativeLayout con wrap_content. Sin más información es difícil saber si lo estás haciendo bien para que se ajuste a todas las pantallas o no.