La opacidad en el funcionamiento de la inteligencia artificial se debe principalmente a la intención de las empresas desarrolladoras en resguardar los procesos internos de sus algoritmos y no revelar cómo funcionan. Esta falta de transparencia nos pone en alerta y demuestra la necesidad de pensar críticamente en los sesgos, las citas falsas, las alucinaciones y la soberanía tecnológica.
Un sesgo es como tener una balanza que, en lugar de estar nivelada, se inclina más hacia un lado que hacia el otro. Esto significa que no todas las opciones se consideran de manera equitativa y algunas pueden ser favorecidas o desfavorecidas sin una justificación válida. En el contexto de las inteligencias artificiales generativas, un sesgo puede hacer que los sistemas traten de manera desigual a ciertas personas ―por género, edad, religión, cultura, etc.― o grupos, replicando prejuicios humanos en sus operaciones automatizadas.
¿De dónde surgen los sesgos?
Como estas tecnologías se entrenan con toda la información disponible que existe en internet, los sesgos pueden surgir de diversas fuentes: recopilación de datos históricos prejuiciosos, inclusión de prácticas discriminatorias e incluso los propios sesgos de las personas que programan los algoritmos.
La matemática Cathy O’Neil, especialista en algoritmos y sesgos, dice que los prejuicios están embebidos en los códigos de programación: «Nosotros somos los prejuiciosos que inyectamos prejuicios a nuestros algoritmos».
Nos encontramos entonces con que los algoritmos de IA «deciden» quién obtiene un préstamo, qué persona quedará seleccionada para una entrevista de trabajo, quién puede acceder a un pasaporte o a una prepaga de salud, entre muchas otras cosas.
Por eso es tan importante no solo la regulación y auditoría de los algoritmos de las IAGen, sino la intervención desde el diseño mismo, para tener el control de los algoritmos desde el inicio y no utilizar tecnologías que no representan la diversidad de nuestra cultura.
La soberanía tecnológica significa que un país o comunidad decide cómo usar sus datos y tecnologías, en lugar de depender de lo que otros países o empresas decidan. El diseño propio de los algoritmos asegura que reflejen la diversidad de valores locales y no solo los intereses comerciales de las corporaciones que los crean.
Estos son los principales orígenes del sesgo en los modelos de IA:
- Datos históricos inclinados: si los datos con los que se entrena un modelo reflejan prejuicios sociales o decisiones injustas del pasado, la IA puede repetirlos sin cuestionarlos.
- Selección limitada de fuentes: cuando los datos provienen de ciertos entornos, culturas o idiomas predominantemente, dejando de lado otras realidades, se produce una visión sesgada del mundo.
- Sesgos implicados por quienes diseñan los sistemas: cada decisión de diseño —qué incluir, qué excluir, qué ponderar— puede estar influenciada por las perspectivas de los desarrolladores.
¿Por qué importa abordar los sesgos?
Si no se reconoce y corrige el sesgo, las consecuencias son reales:
- Puede generar discriminación al seleccionar a personas para empleos, becas o admisiones.
- Menoscaba la legitimidad de los resultados producidos por la IA —por ejemplo, recomendaciones, diagnósticos o decisiones automatizadas— si no se considera que algunos grupos tienen desventaja desde el origen.
- Desconfianza por parte de quienes se sienten excluidos o mal retratados por sistemas automatizados.
La inteligencia artificial generativa y sus fallas inesperadas
En el intento de hacer analogías entre el funcionamiento del cerebro humano y el de los sistemas algorítmicos complejos ―como los de la inteligencia artificial― utilizamos metáforas que, a veces, pueden resultar inapropiadas; es el caso de las denominadas alucinaciones de las IAGen.
Las IAGen no alucinan, no tienen delirios, no divagan, no ríen ni lloran. No son mentes humanas, son chats conversacionales de grandes modelos de lenguaje que funcionan probabilísticamente de manera automatizada.
Las mal llamadas alucinaciones son errores o fallas: momentos en los que el sistema de la inteligencia artificial produce resultados inesperados, sin sentido. Un ejemplo claro de estas fallas se ve en el procesamiento del lenguaje natural cuando, en algunos momentos, la inteligencia artificial genera textos que no tienen coherencia, con errores gramaticales o ideas absurdas. Esto puede ser un problema serio en aplicaciones como la traducción automática, donde la precisión es superimportante.
¡A veces, ni siquiera los mismísimos diseñadores e ingenieros de los algoritmos de estas IAGen entienden por qué ocurren los errores!
Este vacío en la comprensión de las fallas nos hace cuestionar la fiabilidad y la seguridad de las inteligencias artificiales. Al no comprender cómo se originan los errores ni por qué, es difícil prevenirlos y corregirlos.
Otra falla muy importante está relacionada con la generación de citas falsas. Este fenómeno ocurre cuando la IAGen combina información de su gigantesca base de datos de manera que puede resultar en la producción de frases o atribuciones a autores que nunca existieron. O a la inversa: citar a un autor o autora que existió o existe, pero atribuyéndole citas y pensamientos que nos le pertenecen.
La IAGen no tiene la capacidad de determinar la veracidad de los datos; simplemente sigue patrones basados en la probabilidad y la frecuencia con la que ciertas palabras o frases aparecen juntas. Por lo tanto, puede brindar citas que suenan verdaderas, pero que, en realidad, son fabricaciones sin fundamento histórico o literario.
La generación de citas falsas o información incorrecta por parte de las IAGen tiene consecuencias negativas en diversos campos, como la investigación académica, la traducción automática y la generación de contenido en línea. Por eso es tan importante chequear la información que resulta de las interacciones con los chats conversacionales de las IAGen.
A medida que las IAGen se vuelven cada vez más relevantes en nuestra sociedad, es fundamental agudizar nuestra mirada crítica para detectar errores, fallas y sesgos. Auditar estas tecnologías es la manera de demandar seguridad y ética en su diseño y funcionamiento.
Fuente:
https://www.educ.ar/recursos/159082/sesgos-citas-falsas-y-alucinaciones-fallas-en-la-ia
