Claro que puedes seguir usando el teléfono perfectamente.
Creo que lo más importante es que sigas pudiendo actualizar las aplicaciones en la store..
Pero evidentemente si dejas de recibir parches de seguridad de Android... pues tendrás "menos seguridad"
Aunque hay varios compañeros que Aseguran que ésto no es cierto.. cosa que me permito dudar.