Puedes cargar con cualquier cargador que entregue como mínimo la corriente que se especifica para un puerto USB (500 mA a 5V en la primera especificación), y no vas a notar ningún tipo de efecto sobre la vida útil de la batería. Lo más dañino para una batería como las que llevan estos teléfonos es que se descargue completamente.
Igualmente puedes cargarlo con otros cargadores más potentes para que se cargue más rápido. Yo tengo un Lenovo X1 Carbon con cargador por USB 3.1 y conector tipo C que uso indistintamente para cargar el PC y el teléfono. En USB 3.1 se hablan entre sí para indicar qué voltaje e intensidad soportan.