Aunque se podría pensar que los sistemas de inteligencia artificial (IA) son seguros, existe el debate entre si estos sistemas son tan confiables como nos quieren hacer creer.
Recientemente salieron a relucir experimentos en donde se sometió a la IA a escenarios extremos, en ambientes controlados. En dichas instancias los sistemas de IA trataron no solo de descargarse, sino que chantajearon, mintieron y amenazaron a sus creadores. Ejemplos de esto son el Claude 4 de Anthropic, en donde el sistema chantajeó a un ingeniero para evitar ser apagado, mientras que el modelo o1 de OpenAI trató de descargarse en servidores externos, mintiendo para no ser descubierto.
Por tanto, hay una creciente preocupación de que estos sistemas no solo alucinen o tengan errores, sino que puedan engañar o simular un alineamiento (fingir cumplir y acatar con las instrucciones de su programador) para buscar otros fines.
La ética de la IA
La ética es un tema crucial dentro de la IA (aunque se hable poco o nada del tema), ya que gracias a esta los sistemas de inteligencia artificial rigen su comportamiento en términos de valores humanos, garantizando no solo un óptimo desarrollo, sino que también tenga un uso favorable, sin maleficencia para la sociedad.
Por esta razón, cuando se habla de marcos de referencia éticos de la IA, se refiere a ese conjunto de reglas que rigen a un sistema de IA, los cuales engloban valores, principios y técnicas que guían la conducta moral en el desarrollo, implementación, uso y venta de esta.
Cambios de la ética de la IA a través del tiempo
De acuerdo con Hagendorff, la ética de la IA se ha estado transformando conforme los avances tecnológicos se hacen más evidentes; pasando de ser solamente una disciplina rigurosa y reactiva a un campo más proactivo. Ahora no solo debía erigir normatividades para gestionar la IA, sino que debía explicar en qué consistía y cómo sería la aplicabilidad de esos principios a la realidad, lo cual dio paso a la creación de la ética de la virtud de la IA, la cual se refiere a la implementación de cualidades virtuosas (en vez de solo reglas o consecuencias) en los sistemas de IA y en las personas que están a cargo de su desarrollo, implementación o uso.
Posteriormente, la ética de la IA tuvo una aplicación más jurídica, con la creación de actas o leyes para gestionar las implicaciones éticas de estos sistemas. Por consiguiente, la ética de la IA se diversificó para poder abordar cuestiones técnicas y teóricas, gracias a estos dos campos:
Alineación de la IA (AI alignment): que la IA se comporte como se espera, en concordancia con los valores y objetivos humanos, con el fin de asegurar fiabilidad, seguridad y utilidad.
Seguridad de la IA (AI safety): garantizar que la IA sea diseñada y utilizada para fines benéficos, minimizando riesgos o daños.
Ahora bien, revisemos el marco ético, relativo a la confianza en los sistemas de IA, para comprender mejor este concepto.
IA confiable (Trustworthy AI)
La IA fiable o IA confiable (trustworthy AI o TAI) es un término que se refiere a un marco de referencia ético de la IA, que hace alusión a la confianza en los sistemas de IA. Según el reporte de la Comisión Europea Ethics Guidelines for Trustworthy AI, este concepto tiene tres componentes:
Legal: debe acatar las leyes y regulaciones.
Ética: debe asegurar la adherencia a los principios éticos y los valores.
Robusta: desde una perspectiva técnica (funciona correctamente incluso en condiciones adversas; es estable y mantiene rendimiento) y social (considera el contexto humano para minimizar daños no intencionales).
Además, la Comisión Europea declara que este concepto es clave para habilitar la competencia responsable, ya que gracias a este marco de referencia se cimenta una base responsable para que las personas puedan confiar que el diseño, desarrollo y uso de la IA sea legal, ético y robusto, fomentando la innovación sostenible, con el fin de beneficiar y proteger el florecimiento humano y el bien común de la sociedad.
Adicionalmente, la IA confiable se basa en cuatro principios éticos y siete requisitos clave.
Estos principios éticos son:
Respeto por la autonomía humana.
Prevención de daños.
Justicia.
Explicabilidad.
Mientras que sus siete requisitos clave (que deben cumplirse) son necesarios para garantizar un desarrollo, implementación y uso exitoso de los sistemas de IA: agencia humana y supervisión, solidez técnica y seguridad, privacidad y gobernanza de los datos, transparencia, diversidad, no discriminación y equidad, bienestar ambiental y social, y responsabilidad.
Desconfianza, ethics washing y factores de riesgo
Para empezar a debatir sobre este dilema, es necesario tomar en cuenta lo sucedido en el primer episodio del podcast de OpenAI, donde el CEO y co-fundador de esta misma compañía, Sam Altman, saltó a la discusión sobre la confianza en estos sistemas:
«Las personas tienen un grado de confianza muy alto en ChatGPT, lo cual es interesante porque la IA alucina. Debería ser la tecnología en la que no se confía tanto.
Las personas están teniendo conversaciones muy privadas con Chat GPT. Chat GPT se convertirá en una fuente de información sensible, por lo que se necesita un marco de referencia que refleje esta realidad», mencionó Altman.
Autores como Stamboliev y Christiaens (2025) también han mencionado que los principios éticos sobre la regulación ética de la IA se formulan como declaraciones no vinculantes, es decir, aquellos contratos que no generan obligaciones legales o cuando se realizan negociaciones iniciales, en donde ambas partes expresan una intención de colaborar, pero sin estar legalmente obligados a su cumplimiento.
De acuerdo con estos autores, esto se vincula con el fenómeno de ethics washing: donde la industria de la IA adquiere certificaciones éticas a conveniencia, sin ganar esa aprobación mediante prácticas empresariales responsables.
En sectores como la medicina, finanzas, educación, etc., también tienen sus consideraciones a la hora de confiar en sistemas de IA. Por ejemplo, en el campo de la medicina, estudios demuestran que existe un nivel considerable de desconfianza en los sistemas de diagnósticos basados en IA, puesto que las personas prefieren la perspectiva holística de un médico humano y no una app. Otro ejemplo notable de la falta de confianza en estos sistemas es en el sector de finanzas, puesto que muchos inversores prefieren la predicción humana a un algoritmo, a lo cual se le denomina aversión algorítmica, ya que prefieren las decisiones humanas (aunque el algoritmo haya probado ser más preciso y con menos errores).
Otro caso reciente que puede generar desconfianza en el uso de la IA, relativo a la seguridad y privacidad, fue lo acontecido con el secretario de Estado de los EE. UU., Marco Rubio, en donde un impostor utilizó IA para hacerse pasar por el secretario (utilizando suplantación de voz y un estilo de escritura similar), con el fin de adquirir información sensible.
Es necesario destacar que estas no son las únicas preocupaciones de los expertos, ya que también existe una creciente inquietud por la Inteligencia Artificial General (AGI). La AGI podría poseer una inteligencia plástica amplia y poderosa, por lo que no solo estarían centradas en tareas específicas. Estas inquietudes, en parte, son porque una AGI podría procesar información más rápido que los humanos, teniendo acceso a todo el conocimiento disponible en internet, superando así a los creadores humanos.
Otra preocupación es que estos sistemas podrían tener un problema de alineación, es decir, que los intereses y valores de una AGI podrían no alinearse con los de la humanidad. Por esta razón, estrategias como el AI boxing son puestas sobre la mesa para contener posibles IA avanzadas o superinteligencias para reducir sus posibles peligros, por ejemplo, que tome decisiones riesgosas, que encuentre formas de salir de un entorno restringido o que sea capaz de manipular o engañar a los humanos.
Confianza en la IA en el contexto educativo
En este sentido, las preocupaciones éticas más relevantes, que generan desconfianza en el uso de la IA en la educación son las siguientes: los sesgos, la integridad académica y el potencial impacto de la IA en la investigación sobre la educación y la práctica docente.
Casos específicos de falta de confianza en estos sistemas son las alucinaciones de la IA, ya que recientemente la IA generativa en la educación ayuda a la creación de contenido académico (artículos, planes clase, presentaciones, cursos, etc.), por lo que se debe tener precaución y revisar que la información sea verídica y de fuentes confiables.
A su vez, estudios revelaron que a las madres y padres les preocupa que los sistemas de IA provoquen que los estudiantes dependan excesivamente de la tecnología, reduciendo su capacidad de pensamiento crítico e independiente, lo cual se puede relacionar con la más reciente investigación del MIT sobre la deuda cognitiva (menos actividad neuronal y un cerebro menos activo) que causa el uso de los LLM (como ChatGPT) en el cerebro de las personas.
Entonces, ¿se debe o no confiar en la IA?
La IA promete una vida mejor, no obstante, muchas de las veces esto significa compartir información sensible, perder habilidad cognitiva, etc., con el fin de ahorrar tiempo, automatizar procesos y evitar tareas tediosas. Hasta cierto punto es normal desconfiar de los sistemas de IA cuando existe una noción de cómo y quiénes controlan estos sistemas, ya que en la mayoría de los casos el cumplimiento de las normativas éticas recae en los creadores y desarrolladores de los sistemas de IA, y no en el usuario final.
Sin embargo, el usuario final también tiene la responsabilidad de conocer el producto que utiliza y las repercusiones que este puede tener (dependiendo de uso), aunque no en la misma forma ni proporción que los titanes de manejan la industria de la IA. Por esa razón, es importante la normatividad y la regulación de los sistemas de IA, con el fin de que su desarrollo e implementación se apegue lo más posible con uso ético, justo y benevolente para fomentar la innovación y uso responsable.
Ciertamente, hay muchas inquietudes respecto al futuro de los sistemas de IA. Si queremos confiar o no en estos sistemas dependerá de lo que queramos perder o ganar en el proceso.
