La aceleración por HW significa que el renderizado de los gráficos se realiza a través de la GPU y no de la CPU. En Android siempre ha existido la aceleración por hardware aunque hasta ICS sólo se aplicaba a la barra de notificaciones. Desde ICS -aunque creo que ya viene de Honeycomb- el renderizado se hace a medias entre la CPU y la GPU.
Dónde más se aprecia es al hacer scroll en listas como por el ejemplo el timeline del twitter, sobre todo en terminales mono-núcleo. En un doble-núcleo creo que ya no se nota tanto porque la CPU va sobrada para mover lo que le echen.