No estaría de más presentarse:
https://www.htcmania.com/forumdisplay.php?f=43
Los móviles, a diferencia de los ordenadores de sobremesa, cuentan con SoC donde incorporan todos los elementos en uno (CPU, GPU, Memorias etc).
Es por eso, que brinda una mayor importancia el hecho de que sea "mejor o peor" ya que marca las capacidades y compatibilidades máximas del chip.
No es sólo rendimiento, también depende de él, las compatibilidades con diferentes conexiones, capacidades de fotografía y vídeo entre otros.
La optimización también juega un papel importante, ya que marca las directrices del comportamiento del móvil pero también es importante destacar los añadidos del fabricante (bloatware) que provoca un consumo de recursos extra para su funcionamiento.
En resumen, ninguno es más importante que otro, de nada te sirve la mejor optimización posible si cuentas con un hardware débil.
También, hay que tener en cuenta, que hay infinidad de factores que influyen en el rendimiento del terminal cómo es el hecho, de que android es un sistema libre.