Puedes pasar a la 4.0.4 directamente. No tendrás problema.
Lee primero bien acerca la de la ROM que instalarás ya que he estado viendo algunos casos de brickeo al realizar wipes. La 4.0.3 no te dará problemas y los cambios entre una y otra ni los notarás.