Es normal, la corriente de un puerto USB es de escasos 500mA. Si dejas el Note apagado cargará muy despacio, si lo estás usando es posible que consumas por encima de esa corriente de carga y el % baje, aunque más despacio que si no lo tuvieras pinchado.
Un saludo