Si te gustan los tamaños "más razonables", puedes irte a por el pixel 10 pro normal. Es mucho más razonable para transportarlo y para el bolsillo. Eso sumado al resto de consejos que te han dado, sí podría suponerte un cambio que agradecerás (siempre y cuando, como te dicen, no estés demasiado "anclado" a las funcionalidades específicas del samsung - esto va a ocurrir con todos los teléfonos, que unos tienen unas cosas, te acostumbras y luego no quieres bajarte del carro al ir a otro móvil).
No hay mucha más razón tirar por el XL, porque las cámaras son exactamente las mismas y el resto de características son prácticamente iguales. Carga un poco más rápida, y poco más.
Ahora bien, si quieres tamaños grandes que es lo que más abunda, olvida lo que te he dicho. Pero ese "cambio" desde mi punto de vista, sí sería determinante (tener las mismas cámaras de ese nivel en uno más pequeño pues no es tan habitual).