algoritmos y derechos humanos

This post is also available in: English

A la vista de la actual situación de pandemia del COVID-19, en la que todos los Estados han acelerado la carrera en la utilización de algoritmos y sistemas para la precisión, diagnóstico e investigación de tratamientos y vacunas, y considerando todos los potenciales usos de los algoritmos y sistemas para impulsar la innovación y desarrollo económico en otros ámbitos, incluyendo la comunicación, educación y transporte, el Consejo de Europa emitió el pasado 8 de abril de 2020 unas recomendaciones sobre el impacto de los algoritmos en los derechos humanos.

Consciente del impacto de los algoritmos en los derechos y libertades individuales, a veces positivo y otras negativo, el Comité de Ministros recuerda el compromiso adquirido por todos los Estados Miembros de garantizar los derechos y libertades del Convenio Europeo para la Protección de los Derechos Humanos y Libertades Fundamentales, adoptado por el Consejo de Europa en 1950 y que entró en vigor en 1953 y al que España se adhirió el 24 de noviembre de 1977. Compromiso que, con independencia de los progresos y avances tecnológicos, los Estados deben garantizar en todos los diseños y desarrollos de algoritmos, tanto del sector público como privado.

El Consejo de Europa define en estas guías los “sistemas de algoritmos” como aplicaciones que, utilizando normalmente técnicas de optimización matemática, llevan a cabo una o más tareas como recoger, combinar, limpiar, clasificar e inferir datos, sobre los que seleccionan, priorizan, realizan recomendaciones o toman decisiones. Estos sistemas automatizan actividades que permiten la creación de servicios que se adaptan a gran escala y a tiempo real.

Aunque estos sistemas presentan muchas ventajas (mejora de la prestación de los servicios a través de una mejor precisión y consistencia, desarrollo de nuevas soluciones, mejora de la eficacia y eficiencia en la realización de tareas) que han permitido los avances en diversos campos, como el diagnóstico médico, el transporte y la cooperación global, también suponen riesgos y retos para los Estados Miembros, como el derecho a un juicio justo, la privacidad y protección de datos, libertad de pensamiento, conciencia y religión y libertad de expresión o tratamiento igualitario, entre otros. El Consejo de Europa subraya el impacto negativo de estos sistemas debido al (i) tratamiento a gran escala de datos, (ii) el número de errores que se pueden dar en forma de falsos positivos y falsos negativos, acentuando a veces la discriminación o los estereotipos, (iii) falta de precisión en las simulaciones y adopción de reglas generales que no tienen en consideración toda la información, o (iv) la falta de transparencia en los criterios y técnicas de optimización y priorización de valores aplicados por estos sistemas (opacidad, falta de certeza).

En este escenario, el Consejo de Europa emite unas directrices tanto a los Estados Miembros como al sector privado en torno a los mismos puntos. A continuación ofrecemos un resumen las recomendaciones más relevantes, que en mayor o menor medida afectan tanto a los Estados como a las entidades del sector privado:

  • Revisar los marcos y políticas legislativas aplicables al diseño, desarrollo y despliegue continuado de sistemas de algoritmos, para que cumplan con las directrices marcadas por el Consejo de Europa y sean transparentes, proactivas e inclusivas, así como promover su implantación, evaluar su efectividad y asegurar su cumplimiento por todos los sectores.
  • Asegurar a través de mecanismos legislativos, regulatorios y de supervisión el cumplimiento de la normativa aplicable y el respeto a los derechos humanos de estos sistemas.
  • Facilitar un marco de diálogo y cooperación de forma regular con todas las partes interesadas, tanto del sector público como privado.
  • Evaluar regularmente y de forma continuada (due diligence) durante la vida de estos algoritmos sus efectos e impactos del tratamiento realizado por estos sistemas sobre los derechos humanos, la posible discriminación (género, raza, religión, opiniones políticas u origen social) (bias), así como sus posibles usos o la reidentificación de las personas, y adoptar las medidas adecuadas para prevenir o minimizar estos efectos.
  • Dotar a las autoridades nacionales competentes con los materiales y recursos necesarios para investigar y supervisar el cumplimiento de la regulación en línea con estas recomendaciones.
  • Facilitar el desarrollo de alternativas seguras de infraestructuras que garanticen el acceso a un tratamiento de calidad.
  • Asegurar que (i) la realización de pruebas y experimentos solo se lleva a cabo después de la evaluación del sistema desde el punto de vista de los derechos humanos y considerando todos los factores, contextos y posibles usos, (ii) se aplican las garantías y medidas desde el diseño necesarias en materia de seguridad y privacidad, a través por ejemplo de certificaciones y estándares, y (iii) se utilizan los conjuntos de datos necesarios para evitar discriminaciones o resultados no representativos.
  • Establecer niveles altos de transparencia e información que permitan a las personas conocer estos sistemas, su funcionamiento, comportamiento, toma de decisiones e impacto o riesgos, de forma que las personas tengan conocimiento sobre sus derechos y cómo solicitar la rectificación de los resultados, y sepan cómo utilizar adecuadamente estas tecnologías, disfrutando de sus beneficios y minimizando la exposición a los riesgos.
  • Tomar las medidas necesarias para prevenir los riesgos de estos sistemas, como la adopción de estándares y guías comunes que deban seguir todos los operadores del mercado o la evaluación de su impacto en los derechos humanos por personal formado al efecto, así como, una vez se produce una violación, para remediar sus posibles efetos.
  • Promocionar el desarrollo de sistemas de algoritmos que favorezcan el respeto de los derechos humanos o el cumplimiento de los objetivos internacionales en materia social o de medioambiente, a través de incentivos.
  • Apoyar, realizar y publicar estudios que monitoricen, de manera independiente e imparcial, las implicaciones, efectos y beneficios de estos sistemas sobre los derechos humanos.

Estas guías siguen la línea marcada por la Comisión Europea, cuando el pasado 19 de febrero de 2020 publicó la Comunicación sobre la estrategia de datos y el Libro Blanco sobre la IA, sobre los que hablábamos en esta otra entrada del blog.

Estamos en el auge de la utilización masiva de nuevas tecnologías basadas en algoritmos, software y tratamientos de datos a gran escala (Big Data), en la que cada vez más sector público y privado colaboran y que evoluciona desde hace años a un ritmo vertiginoso. Más aún en estos momentos en que se buscan, a contrarreloj, medidas de contención de la pandemia, y en la que esperemos que estas prisas no afecten de forma irreversible a los derechos humanos y las libertades de las personas.

Autores: Sergi Gálvez y Adaya Esteban

This post is also available in: English

Autores:

Asociado

42 artículos

Asociado del Área de Propiedad Intelectual y Protección de Datos. Especialista en protección de datos y tecnologías disruptivas. Participa en el asesoramiento recurrente en materia de protección de datos y contratación tecnológica de compañías nacionales e internacionales, especialmente en la configuración jurídica de evaluaciones de impacto, transferencias internacionales de datos personales, contratos de encargo de tratamiento y en el asesoramiento durante violaciones de seguridad. Además de prestar asesoramiento continuado a clientes en los ámbitos mencionados, tiene experiencia en asesorar a empresas de diferentes sectores en la configuración legal de proyectos que implementan tecnologías disruptivas, tales como el Big Data, Internet of Things, artificial intelligence y smart robots.

sergi.galvez@cuatrecasas.com

Asociada

60 artículos



adaya.esteban@cuatrecasas.com