Muchas gracias por tu respuesta!
Como comentaba arriba en un principio diseñé la aplicación basándome en las dimensiones de la Magic, 320x480 pixeles. Por ello realicé el diseño justo de esas dimensiones. Evidentemente en la Magic quedaba perfecta pero no en otros terminales como por ejemplo el Nexus One. Para ello sí que utilizaba fill_parent y wrap_content pero nada más.
Luego pensé que lo lógico sería crear el diseño para los terminales de mayor pantalla y tratar de adaptarlo a las pantallas más pequeñas. Para ello me basé en las dimensiones del Nexus, 480x800 pixeles, pero al ver como quedaba el diseño en la visualización del Eclipse eligiendo la pantalla de 3.7" me llevé una gran sorpresa al ver que para nada se correspondía con lo que me esperaba. Quedaba todo mucho más grande como si en realidad hubiera hecho el diseño para 5.1".
Así que nada, he ido realizando pruebas hasta encontrar unas dimensiones que parece que cuadran bastante bien con el Nexus. Estas dimensiones son 320x510 pixeles (descontando la barra de notificaciones). No se porqué ni de donde se suponen que salen pero probando con estas dimensiones el diseño queda "perfecto" en el Nexus. Al probarlo en la Magic queda bien de ancho pero es demasiado largo y no se muy bien como reducirlo. Al igual que antes solo utilizo fill_parent y wrap_content y no se muy bien como tendría que utilizar los dip y los sp.
No se si la filosofía que utilizo para crear los diseños es la correcta así que os agradecería que me contarais como planteáis los diseños de vuestras aplicaciones cuando queréis que ocupe justo toda la pantalla (exceptuando la barra de notificaciones).
Muchas gracias de antemano y perdonad por el tostón