Si, configurandolo en cada aplicación.
El sonido que pones para notificaciones en la configuración del móvil es el que va a sonar por defecto si no configuras nada. Pero en la aplicación de SMS puedes ponerle un sonido, en WhatsApp otro, en Twitter otro, incluso un sonido para cada cuenta configurada. Igual pasa con el correo, para cada correo puedes ponerle un sonido distinto, incluso patrones de vibración distintos si usas el K9 Mail.
Lo dicho, todas las aplicaciones que emiten notificaciones raro es que no traigan la opción para ponerle un sonido propio.
Y si quieres tonos de notificación propios lo único que tienes que hacer es copiar los ficheros de audio en /sdcard/media/audio/notifications