Gobierno y Más País anunciaron el 16 de noviembre un acuerdo para crear una agencia pública que controle los algoritmos en el país. Este acuerdo ha venido impulsado por una enmienda a los presupuestos generada por Más País que se orientaba hacia la creación de una agencia estatal de la inteligencia artificial que contaría con un presupuesto de 5 millones.
El 25 de noviembre de 2021 tendrá lugar en el Congreso de los Diputados un debate que supone un hito en la historia parlamentaria, se discutirán “los usos permitidos de los mecanismos de inteligencia artificial (IA) relativos a los sistemas de vigilancia masiva y las tecnologías que valoran las conductas de las personas de forma predicitiva”. Así lo especifica la Propuesta No de Ley (PNL) presentada al Congreso por Unidas Podemos.
Esta PNL, que ha contado con el asesoramiento de
Aitor Jiménez, investigador postdoctoral en la Universidad de Melbourne, insta al Gobierno a promover el desarrollo de estudios técnicos para promover una normativa sobre el uso de la IA por parte de las Fuerzas y Cuerpos de Seguridad del Estado, establecer garantías sobre la seguridad del uso de estos sistemas en términos de no discriminación, crear un marco jurídico que regule las consecuencias de sus malos usos y garantizar la transparencia técnica de los algoritmos.
Estas peticiones van encaminadas en la misma dirección que la de la posible Agencia Estatal de Control de IA que controle el diseño, el funcionamiento y los usos de los algoritmos en materia de seguridad y vigilancia de la sociedad. “Esta agencia sería un un horizonte deseable a partir de la PNL. Este movimiento es de impulso legislativo, queremos llevar el tema a la cámara y generar posicionamientos”, responde a El Salto Ismael Cortés, diputado por Unidas Podemos en el Congreso, portavoz de la Comisión de Interior, Seguridad Nacional, Ciencia y ODS, que firma esta PNL.
Algoritmos sin control
El pasado 4 de noviembre, Más País anunciaba el registro de la enmienda a los Presupuestos Generales del Estado que finalmente ha sido acordada con Gobierno. Héctor Tejero, diputado y coordinador político de la formación e impulsor de la enmienda, coincide con Cortés en que por el momento estos movimientos responden a “poner el tema en agenda y empezar a trabajar para desarrollar una ley que determine las funciones de esta agenda, no queremos llegar al punto de EE UU donde hay algoritmos por doquier sin ningún tipo de control”.
El texto presentado por Cortés señala algunos usos en otros países para alertar sobre posibles futuros que puedan darse dentro de nuestras fronteras, como caso del metro de Moscú, que ha habilitado un sistema de pago por reconocimiento facial basado en 206.000 cámaras instaladas que, en palabras del alcalde de la ciudad “se convertirá en la red más grande del mundo, solo rivalizada por los sistemas chinos"
Según cita el texto, diversas organizaciones como
Humans Rights Watch, Amnistía Internacional, Algorithm Watch o la Agencia Española de Protección de Datoshan han mostrado su preocupación por los peligros que entrañan los avances en la implementación de este tipo de sistemas. Además de mencionar el ya conocido sistema de crédito social chino, el texto de UP recuerda también la campaña
Reclaim Your Face en la que un amplio número de diputados ha enviado cartas a la Comisión y al Parlamento Europeo destacando los riesgos para la garantía de derechos fundamentales.
“Estamos siguiendo muy de cerca los recientes casos que se han filtrado de Facebook y el impacto que tenían sus algoritmos a la hora de captar la atención de la juventud durante las 24 horas, y que lo siguiesen usando a pesar de saber que estaba acarreando serios problemas de salud mental. Al ser un caso mediático, aunque estemos lejos de controlar a Facebook
, nos sirve para hacer presión en el debate”, añade Cortés. Tejero coincide y añade que “por eso es tan importante que un organismo de control saque informes especializados y reglados sobre las consecuencias de los usos de estos algoritmos. No puede ser que esta batalla contra gigantes de las telecomunicaciones esté solo en manos de personas de la academia que apenas tienen financiación o, peor aún, que los informes vengan encargados por las propias empresas”.
Hay, sin embargo, numerosos usos de algoritmos diseñados y utilizados por instituciones públicas o empresas privadas que operan día a día en distintas esferas del ámbito público del Estado español. Renfe publicó un anuncio de una licitación para un sistema de análisis de vídeo y reconocimiento basado en parámetros como el género, la vestimenta o el origen étnico para aplicarlo en 25 estaciones de ciudades de Madrid, Andalucía, Catalunya o Euskadi. “Recabar datos relacionados con el origen étnico sin el consentimiento explícito de las personas está prohibido por las leyes de protección de datos de la UE, pero no se trata solo de eso, ¿qué es la vestimenta? La vestimenta es clase social. Construir modelos predictivos en base a esto es muy grave”, señala Cortés.
Llama especialmente la atención la
licitación publicada en julio de 2021 por el Cuerpo Nacional de Policía para el suministro de un sistema automático de identidad digital biométrico por 4.400.000 euros. “No sabemos nada de esta licitación, no existe ninguna herramienta ni grupo que pueda auditar esto. No sabemos si esto ya está operativo o si está siendo probado. Queremos que haya un estudio técnico de las posibles consecuencias adversas que pueda tener el uso de estos sistemas aún cuando se ajusten al marco legal. Sobre todo en el ámbito policial, hay un peligro de que se utilice para construir perfiles de criminalidad y peligrosidad. Es dar pábulo a un racismo que ya existe, sustentándolo en un aura de objetividad”, añade Cortés. “El plazo para la recepción de ofertas acabó el 10 de agosto pero tampoco sabemos a qué empresa le han dado finalmente el encargo”.
La industria que desarrolla inteligencia artificial para entornos laborales crece y se desarrolla a grandes pasos. Principalmente se utiliza para contratar, organizar, vigilar empleados y predecir rendimiento.
Cómo regular distintos tipos de algoritmos
Recomendación de música o audiovisuales, sistemas de identificación por reconocimiento facial, emparejamientos en aplicaciones para ligar, puntuaciones a la hora de optar para un trabajo, mediciones de la eficiencia en el mismo, sugerencias de productos en plataformas de gigantes comerciales. A la hora de clasificar los algoritmos o sistemas de
machine learning (ML) encontramos varias categorías que son más bien difusas, lo cual dificulta su catalogación a la hora de aproximarse a su regulación. “A pesar de estas zonas difusas, hay dos ejemplos claros en los que la administración pública debe intervenir: los usos de la propia administración y los usos laborales y comerciales”, indica Tejero.
Desde Más Madrid ponen el foco en las figuras de la Comisión Nacional de Mercados y Competencia (CNMC) o la Autoridad Independiente de Responsabilidad Fiscal española (AIREF) como modelos jurídicos a imitar. “La CNMC es una organización formalmente independiente del Estado, aunque los consejeros son designados por el Gobierno, que controla, por ejemplo, el sector eléctrico o que no haya estafas en los acuerdos comerciales”, apunta Tejero. “Tiene capacidad de sanción y en este sentido la entidad reguladora de algoritmos debería ser igual. Si tu algoritmo está discriminando o haciendo daño y tú lo sabes, tienes que ser sancionado”.
La AIREF en su contenido quizá no sea el mejor ejemplo ya que fue creada por el Gobierno de Mariano Rajoy para controlar el gasto público, “pero nos interesa en su forma, ya que emite informes públicos independientes, podrían servir para tratar de presionar a las compañías que se escapen a un control directo del Estado como Facebook”, añade.
En el ámbito de uso de algoritmos por parte de empresas privadas, cuando estas son consultadas al respecto, como ha ocurrido en el caso de Just Eat, por ejemplo, se defienden alegando que los algoritmos son lo que les permite ser competitivas en el mercado y suelen aludir a la comparación con la fórmula secreta de la Coca-Cola para defenderse frente a posibles controles. “La Coca-Cola, igual que cualquier producto, tiene que pasar por unos controles sanitarios y existen mecanismos como los acuerdos de confidencialidad para facilitar esta supervisión sin poner en riesgo la fórmula del éxito de estas empresas”, sentencia Tejero.
En cuanto al recorrido de esta iniciativa, los representantes de ambos partidos reconocen que se encuentra en un estado embrional que depende de los resultados de debates posteriores, pero ven con optimismo la recepción en otras fuerzas parlamentarias. “Que esto salga adelante o no va a depender de la negociación, pero ha sonado bien. Ahora lo importante es que entre en las agendas para crear ese armazón legislativo que regule una realidad que ya forma parte de nuestras vidas cotidianas”, dice Tejero. “En el arco de la izquierda, Bildu, Más País o Esquerra están haciendo declaraciones muy posicionadas al respecto”, coincide Cortés.
Moratoria de sistemas
Hay
voces técnicas y académicas expertas que señalan el peligro de la mera implementación de estos sistemas, más allá de la crítica a los sesgos, y que exigen a los gobiernos una moratoria en el uso de estos sistemas, es decir, regular y controlar primero y, si acaso, aplicar después. La razón principal es la falta de herramientas técnicas y regulatorias para poder desempeñar una labor real de control sobre este tipo de
software.
No obstante, Tejero propone algunos modelos que, bajo su perspectiva, podrían resultar útiles: “Generalmente tenemos una visión distópica de los algoritmos, como una herramienta que solo sirve para el control y la vigilancia, que lo son, pero se pueden usar también para el bien. Por ejemplo con el fraude fiscal o el laboral, los algoritmos pueden detectar este tipo de cosas si los entrenas para estas labores concretas. El Ministerio de Trabajo ha sacado una herramienta de prevención de fraude que va en esta linea. De todos los contratos temporales, busca cuáles son sospechosos de poder incurrir en ilegalidades y no sanciona, envía una advertencia señalando que hay algo raro. Solo eso, hace que la gente regularice. También se pueden entrenar para agilizar los trámites para
Un control del Gobierno no garantiza, por el momento, un uso libre de discriminación. Javier Sánchez, profesor en la UCO e investigador sobre Inteligencia Artificial, publicaba recientemente un hilo de Twitter con algunos casos discriminatorios que había analizado para un seminario para la Fundación del Secretariado Gitano. Señalaba, entre otros, proyectos de gestión algorítmica desde el Estado con fin social
presentaban sesgos racistas: “Durante el primer confinamiento comprobaron que en varias ciudades el SEPE no daba citas para los trámites de ayudas si ponían el código postal de barrios gitanos. Al cambiarlo a cualquier otro de la ciudad había citas disponibles”. Una odisea para algunas que, como señalaba alguien en la red social, recuerda a una versión española de
Yo, Daniel Blake.
Qué algoritmos está usando la policía
“Los servicios policiales pueden usar la tecnología en su propio beneficio si están preparados para ello y pueden desarrollar las herramientas y métodos adecuados. Ahora se trata de la supervivencia del más fuerte, entre las fuerzas del orden y los delincuentes. Tenemos que adaptarnos e innovar constantemente”. Estas son palabras de Anita Hathenberg, directora de Innovación de Interpol en una conferencia de 2020.
Las mayores partidas de dinero invertidas en proyectos de inteligencia artificial se dan para el desarrollo de sistemas de uso policial. El investigador y periodista Ekaitz Cancela explicaba
en este medio este mismo año cómo medio de centenar de ayuntamientos en siete comunidades autónomas se habían gastado más de 5,4 millones de euros en contratar servicios a Eurocop Security Systems (una cantidad mayor que la destinada a la agencia de control de todos estos sistemas), una empresa española que trabaja con sistemas de predicción de crímenes sin ningún tipo de control o auditoría.
Acerca de este sistema, Lorena Jaume-Paulasí, fundadora de
The Ethical Tech Society, centrada en la investigación de la ética de la digitalización y la automatización, contaba en una entrevista realizada en un
podcast de El Salto que este sistema se engloba en el grupo de tecnologías que se están empezando a usar en la Unión Europea y que “no se trata de una predicción realmente, sino de sistemas que tratan de evaluar si lo que una persona está haciendo se parece a lo que otras personas que han hecho justo en el momento antes de cometer un crimen o acto violento. La estadística nos sirve para entender movimientos en masa de la sociedad, pero no para predecir comportamientos de personas individuales con sus especificidades. Partir de esa premisa es erróneo”. El hecho es que muchísimos de estos usos predictivos han sido ilegalizados en Estados Unidos, Países Bajos, Australia o Polonia.
Otro de los sistemas que aplica actualmente la policía es Veripol, un proyecto que arrancó en 2015 y comenzó implementándose en Andalucía en 2018. Desde el año 2019 opera en comisarías de todo el Estado. Cuando alguien denuncia un robo con violencia en una comisaría, Veripol trata de catalogar si está mintiendo. Según datos de 2020, el 35% de informes redactados por los agentes que recogen denuncias fueron presentados a Veripol para que determinase si eran falsas o no. Jaume-Paulasí lo cataloga como “una especie de polígrafo que, en lugar de aplicarse a personas sospechosas se aplica a personas que están presentando una demanda”.
Ana Valdivia, investigadora en el London King's College especializada en ética algorítmica por la justicia social revisó para su investigación todo lo publicado respecto a Veripol. “Me sorprende mucho que haya pasado los estándares de revisión de máquinas que usan ML porque incumple varios puntos de seguridad. Solo utilizaron 1.122 denuncias para entrenar el algoritmo, que son muy pocas. No es consistente ni robusto. Otro de los problemas, que es de primero de ML, es que a la hora de entrenarlo hay que tener un subgrupo de datos clasificados por el grupo de control que el algoritmo no vea y después te sirvan para comprobar la efectividad del mismo. Esto tampoco lo han usado en Veripol y permite trampear las tasas de éxito”.
Otra de las cuestiones que señala Valdivia es la forma de entrenar al algoritmo. Estas 1.122 denuncias han sido catalogadas durante dos años como falsas y verdaderas por un solo policía experto que las categorizaba a mano. El algoritmo lo que hace es reproducir el criterio de una persona experta en base a sus criterios de palabras clave.
La robustez de un algoritmo reside también en la cantidad de personas que crean y distribuyen etiquetas en los casos para el entrenamiento. Por ejemplo, el algoritmo categoriza que la palabra ‘bolso’ está más asociada a una denuncia falsa que la palabra ‘mochila’. También cataloga con un riesgo mayor la palabra ‘Apple’ respecto a otras marcas. En el primer caso ya no hablamos solo de sesgos machistas sino de una técnica que no se basa en ningún presupuesto científico. “Es una distorsión extremadamente grande que recuerda al juego del teléfono escacharrado”, opina Jauma-Paulasí.
El periodista Michele Catanzaro realizó para Algorithm Watch una
investigación en profundidad sobre otro de los juguetes de última generación usados por la policía: Viogen, un sistema que cataloga el riesgo de una víctima de violencia machista en el momento de la denuncia. Asigna una puntuación que debería orientar al policía para decidir el nivel de protección que necesita la denunciante. Se hace a través de una larga lista de preguntas y es un proceso que puede llegar a alargarse hasta dos horas en el momento de la denuncia.
Supuestamente, el agente tiene que valorar si la respuesta de Viogen es adecuada o si debe actualizarla, siempre a la alta, no puede a la baja. Para Catanzaro, que atendió a este medio en una entrevista radiofónica hace unos meses, “hay evidencias de que en el 95% de los casos los agentes se lo toman como una caja negra y no cuestionan el resultado, que viene envuelto en un aura de objetividad falso”.
Desde colectivos de psicología y grupos activistas feministas se ha señalado que el momento de la denuncia ante el agente es uno de los más traumáticos para la mujer. Es reseñable el hecho de que se pueda catalogar un riesgo como bajo, cuando la mera situación de acudir a denunciar ya supone un riesgo en sí misma. Para Valdivia, se trata de un sistema que “una vez más pone el foco en la víctima y no en el agresor, por lo que el problema no estaría en los sesgos sino en la herramienta en sí”.
“Hablan de algoritmo, pero realmente hablamos de un sistema de promedio pesado que asigna pesos a las respuestas a una batería de preguntas, a pesar de que los detalles del propio algoritmo no están publicados. Yo los pedí en su momento y me los negaron”, añade el periodista. “Ha sido diseñado por un grupo de expertos del ámbito académico, como Antonio Andrés Pueyo, y de la propia policía, como Juan José López-Ossorio, que han elegido las preguntas basadas en estudios académicos previos”. Llama la atención el hecho de que no haya ninguna mujer implicada en el equipo líder que ha diseñado el proyecto en sus etapas iniciales. De hecho Catanzaro señala que hasta su última actualización el sistema no incluía variables relativas a la violencia ejercida sobre los hijos e hijas.
Regular es necesario, pero no suficiente
Valdivia se muestra escéptica a la hora de valorar la apuesta por una agencia estatal de algoritmos. Opina que “en eso hay que ir con cuidado porque esas agencias pueden acabar justificando estos usos y ponerse de lado de actores privados, cosa que no nos extrañaría. Está el caso de NIST en EE UU, un instituto supuestamente independiente que audita algoritmos de reconocimiento facial de varias empresas y no realiza lecturas críticas del uso de dichos algoritmos. Acaban haciendo análisis cuantitativos que auditan los niveles de rendimiento y sesgos. Les dicen a los gobiernos cuál es el mejor sistema para denegar demandas de asilo”.
Comenzando por las GAFAM, es un hecho que hay un poderoso bloque de
lobbies que están presioniando fuertemente a los gobiernos de todo el mundo para que apuesten sobre el tecnosolucionismo, en clave de aceleración y mejora de la eficiencia en decisiones que desde los organismos de protección de derechos se vienen denunciando. De hecho el uso de muchos de estos sistemas, como señalaba Cortés, ya viola las regulaciones vigentes y no ocurre nada. La directiva de Facebook sabía que su algoritmo causaba profundas heridas en la salud mental de los jóvenes y, a sabiendas de ello, decidió apostar por mantenerlo en pos de los beneficios. En caso de que fuesen multadas estas compañías, ¿ocurriría lo mismo que con aquellas que son multadas por emisiones y contaminación pero siguen con su actividad a pesar de ello?
“El algoritmo no está mal, es el sistema y el contexto en el que se usa el que lo está. La crítica no puede quedarse en el algoritmo, ¿necesitamos multas o un cambio completo de paradigma?”, se pregunta Valdivia. Como recado a quienes se encarguen de legislar en torno a todo esto, Jaume-Paulasí deja la reflexión de mirar hacia fuera del campo puramente técnico e integrar en la solución a los colectivos sociales que sufren las consecuencias de los mismos: “Hay que mirar a los grupos que no se dedican a auditar algoritmos, pero que analizan los contextos y su trabajo es aún, si cabe, más importante. Todo lo que sea cuestión de violencia de género o discriminación social”.
No obstante y a pesar de las alertas sobre posibles riesgos, las voces técnicas y académicas consultadas para esta pieza reconocen que es una buena noticia y un buen camino a seguir.
