En nuestra última conversación (invito a revisar “Abramos” la caja negra de la Inteligencia Artificial (IA) – deseamos un AI explicable y con trazabilidad – ¿Es posible?) concluimos de la siguiente manera:
De acuerdo a lo que enunciamos previamente (……distinguir entre lo bueno, lo malo y lo feo. Ahondemos en estos…) nos resta hablar de lo feo.
Dejamos este punto para una próxima conversación. En ella hablaremos de “lo feo” y la posibilidad de una IA explicable.
Es momento de continuar, hablemos de “lo feo y la explicabilidad” de la IA.
Y ahora lo feo: el sesgo
¿Pero es justo echarle toda la culpa a la tecnología? «Debemos tener en cuenta que los sistemas de IA no son sistemas neutrales». Detrás de la IA hay personas que expresan (por medio de los algoritmos y los datos que los alimentan y les permiten “aprender”) ideales personales sobre lo que es un buen resultado o lo que significa el éxito, sus valores, preferencias y prejuicios, y todo esto se reflejará en el sistema”.
Supongamos que está desarrollando un programa para identificar mascotas. Si entrena el algoritmo con un millón de imágenes de perros, pero solo con unos pocos miles de imágenes de gatos, la idea del algoritmo de cómo es un gato estará menos formada y, por lo tanto, será peor reconociéndolos. La IA puede estar sesgada porque toma decisiones basadas en datos u opciones de entrenamiento que contienen nuestros propios prejuicios humanos, si no encontramos e implementamos un sistema eficiente de control y trazabilidad.
Otro problema mayor es cuando los conjuntos de datos que alimentan los algoritmos de aprendizaje automático se basan en una discriminación histórica. “Entonces, existe el riesgo no sólo de reproducir las desigualdades estructurales, sino incluso de amplificarlas”. Pensemos en un algoritmo entrenado para seleccionar candidatos para un puesto de trabajo: si la mayoría de los candidatos han sido hombres en el pasado, es probable que el algoritmo reproduzca ese patrón y, como resultado, acabe discriminando a las mujeres.
Hay ejemplos de sesgos cercanos, como los algoritmos utilizados por las autoridades fiscales holandesas que llevaron a la elaboración de perfiles raciales (conocido como el “toeslagenaffaire”, pueden revisar: https://www.amnesty.org/en/latest/news/2021/10/xenophobic-machines-dutch-child-benefit-scandal/).
Los sesgos algorítmicos ponen en relieve prejuicios presentes en los procesos de contratación laboral, las evaluaciones de solvencia crediticia o las solicitudes gubernamentales. Pero una vez que nos damos cuenta de ellos, las máquinas se desprejuician más fácilmente que la mayoría de los humanos. Nuevamente: es tarea de los científicos en datos y los responsables del control y toma de decisiones el contar con herramientas que “alerten” los sesgos.
Cabe la pregunta: ¿cuáles son estas herramientas?
Para evitar el sesgo de la IA, es necesario adoptar un enfoque integral que involucre diversas herramientas y técnicas a lo largo del ciclo de vida del desarrollo y la implementación de la IA. A continuación, se presentan algunas estrategias y herramientas clave que se pueden utilizar:
1. Recopilación de datos diversos: Garantizar que los datos utilizados para entrenar sistemas de IA sean representativos de poblaciones diversas puede ayudar a mitigar el sesgo. Las herramientas para el aumento de datos y la generación de datos sintéticos pueden enriquecer los conjuntos de datos donde ciertos grupos están subrepresentados.
2. Herramientas de detección de sesgos: las herramientas de software que analizan los modelos de IA en busca de sesgos son esenciales. Estos pueden incluir pruebas estadísticas y herramientas de visualización para identificar sesgos tanto en los datos como en las predicciones del modelo. Por ejemplo, AI Fairness 360 de IBM es un conjunto de herramientas de código abierto diseñado para ayudar a detectar y mitigar sesgos en los modelos de aprendizaje automático.
3. Métricas de equidad: la implementación de métricas de equidad permite a los desarrolladores evaluar cuantitativamente qué tan justos son sus modelos. Las métricas comunes incluyen la paridad demográfica, la igualdad de oportunidades y la igualdad predictiva. Estas métricas pueden guiar los ajustes en el proceso de capacitación del modelo.
4. Pautas y marcos éticos: Adherirse a pautas y marcos éticos, como los de sociedades profesionales o grupos industriales, puede guiar los procesos de desarrollo de la IA. Estos suelen incluir principios de equidad, transparencia y rendición de cuentas.
5. Auditorías periódicas: las auditorías periódicas de los sistemas de IA realizadas por auditores internos o externos pueden ayudar a detectar y corregir sesgos que pueden haberse pasado por alto durante el desarrollo. Las herramientas y servicios de auditoría pueden evaluar sistemáticamente el rendimiento de un sistema de inteligencia artificial en diferentes grupos demográficos.
6. Capacitación y concientización: Educar a los desarrolladores y usuarios de IA sobre los riesgos de sesgo y la importancia de la diversidad puede fomentar prácticas más conscientes e inclusivas. Los programas y talleres de capacitación pueden ser fundamentales a este respecto.
7. Herramientas de transparencia y explicabilidad: el uso de herramientas que aumentan la transparencia y la explicabilidad de las decisiones de IA puede ayudar a las partes interesadas a comprender cómo se toman las decisiones. Esto es sustancial para identificar posibles sesgos en el proceso de toma de decisiones. Herramientas como LIME y SHAP brindan información sobre qué características influyen en las predicciones del modelo.
Implementar una combinación de estas herramientas y estrategias como parte de un compromiso más amplio con una IA responsable es esencial para minimizar el sesgo en los sistemas de IA.
IA explicable
Entonces, ¿qué hacer para crear sistemas responsables e inclusivos en los que podamos confiar? Si los sistemas de IA funcionan en una caja negra, no sabemos cómo arreglar el sistema en caso de error, ¿es esto verdad?
Pensemos en los vehículos autónomos. Necesitamos verificar que el sistema sea seguro de conducir, pero también que su comportamiento en la toma de decisiones sea explicable. No sólo para que los pasajeros determinen si se sienten cómodos viajando en uno, sino también para que los constructores de IA puedan optimizarlo si algo se daña o alguien resulta herido.
La inteligencia artificial explicable significa que el razonamiento detrás de una decisión debe ser integral para sus usuarios humanos.
La Policía Nacional Holandesa ha diseñado un sistema de inteligencia artificial explicable para ayudar a evaluar los informes de delitos más eficientemente. De las 40.000 denuncias que los ciudadanos presentan cada año, sólo un pequeño porcentaje se considera un delito penal por ley y, por tanto, se procesa.
Si un sistema automatizado no explica por qué se rechazó una queja, podría socavar la confianza del público. Por lo tanto, diseñaron una herramienta de denuncia de delitos con un chatbot que maneja lenguaje natural y razona con argumentos legales para que los ciudadanos reciban una explicación comprensible y legalmente sensata de por qué no se procesará su denuncia.
Para ser claros: un sistema explicable aún puede ser propenso a sesgos o errores.
Lo que podemos hacer es idear métodos que nos ayuden a revelar sesgos en la IA, de modo que aquellos afectados por una decisión puedan cuestionar su resultado. Un método es hacer que los modelos algorítmicos estén disponibles públicamente para su escrutinio y evaluación (como ocurre con los algoritmos criptográficos).
Nos encontramos en una próxima “conversación” para ahondar en este tema.
Mg en Ing. Carlos Gerardo Said