¿Qué es la Inteligencia Artificial explicable (XAI)?

La inteligencia Artificial ya está dando mucho que hablar. Sin embargo, es bien conocida la crítica acerca de que los sistemas de inteligencia artificial (IA) pueden funcionar como una caja negra y, por lo tanto, no son transparentes.La “IA Explicable” (XAI; explainable AI)[1] ha surgido como un subcampo centrado en el desarrollo de sistemas que los humanos puedan entender y explicar.

Sin bien no se puede atribuir el término “IA explicable” a alguien en particular, hay consenso en que el concepto empezó a utilizarse a principios de la década de 2010,. 

Es preciso comprender los conceptos básicos y el objetivo de la XAI.[2] Pero antes, se debe entender qué es la IA. Si bien la inteligencia artificial, como campo de la ciencia, tiene una larga historia[3] y abarca un conjunto cada vez mayor de aplicaciones tecnológicas, hasta ahora, no existe una definición generalmente aceptada para la IA, Europa está a la vanguardia en el desarrollo de varios marcos legales y pautas éticas para implementar y desarrollar la IA[4] . Una propuesta[5] innovadora de la Comisión Europea (CE) en 2021 estableció la regulación para la primera definición legalmente vinculante de IA.  

Según esta propuesta, la IA se puede definir como un sistema que genera resultados como contenido, predicciones, recomendaciones o decisiones que influyen en los entornos con los que interactúan.

El presente artículo está basado en uno publicado por Alexandra Overgaag para[6] Cointelegraph[7].

Para entender cómo funciona la Inteligencia Artificial, es necesario atender consideraciones iniciales.

Los sistemas de IA trabajan con modelos de aprendizaje automático (Machine Learning; ML)[9], supervisado, no supervisado, refuerzo y aprendizaje profundo, todos los cuales son categorías de ML[10] . Es importante considerar que la ML es un imperativo de la IA, pero no todos los sistemas de IA funcionan con técnicas avanzadas de ML, como aprendizaje profundo. Los sistemas de ML pueden aprender y adaptarse sin seguir instrucciones explícitas. De hecho, no todos los ML funcionan hacia un objetivo externo preestablecido, y algunos sistemas están diseñados para “razonar” hacia objetivos abstractos y, por lo tanto, funcionan sin una intervención humana constante.

Además, los sistemas de IA pueden funcionar con enfoques lógicos y basados ​​en el conocimiento, o combinarlos,[11] como la representación del conocimiento o la programación inductiva (lógica). El primero se refiere a codificar información de una manera que un sistema de IA pueda usar (por ejemplo, definiendo reglas y relaciones entre conceptos). Este último se refiere a modelos ML que aprenden reglas o hipótesis a partir de un conjunto de ejemplos. 

Un sistema de IA puede implementar otros métodos, como enfoques estadísticos (técnicas implementadas para aprender patrones o relaciones en los datos) y métodos de búsqueda y optimización, que buscan la mejor solución a un problema particular buscando en un amplio espacio de posibilidades. 

Además, la IA también se ha descrito[12] como “la capacidad de una entidad no natural para tomar decisiones mediante un proceso de evaluación“, según la definición de Jacob Turner, abogado, profesor de IA y autor. Tomando las definiciones de Turner y de la Counidad Europea, se puede deducir que los sistemas de IA a menudo pueden “aprender” y, en este sentido, influir en su entorno. Más allá del software, la IA también puede encontrarse en diferentes formas o incorporarse, como en la robótica. 

¿Cuáles son otros conceptos básicos de la IA?

Dado que los sistemas de IA están basados ​​en datos, el código de software y los datos son dos componentes cruciales de la IA. En este contexto, se puede argumentar que el progreso en la IA se está produciendo en una era junto con fenómenos que incluyen el ” software que se come el mundo[13] ” (lo que significa que las sociedades y la economía en su conjunto, han visto una transformación digital inmensa y continua) y la “‘datificación’ del mundo[14]” (digitalización), que argumenta que dicha transformación digital pasó por una cantidad cada vez mayor de datos que se generaban y recolectaban.

Pero, ¿por qué es importante?

Fundamentalmente, la captura y el procesamiento de datos se correlacionan con la forma en que se diseña el conjunto de algoritmos de una IA. Dicho esto, los algoritmos son pautas que deciden cómo realizar una tarea a través de una secuencia de reglas, un hilo de instrucciones que regulan el comportamiento de un sistema. .

Luego, después de entender estos conceptos, podemos entender que la  AI realiza “elecciones” o genera resultados (Figura 1), basados ​​en los datos (entrada) y los algoritmos. Además, la IA puede alejar sus decisiones del aporte humano, debido a su naturaleza de aprendizaje y las técnicas y enfoques mencionados anteriormente. Esas dos características contribuyen a la idea de que la IA a menudo funciona como una caja negra. 

El término “caja negra” se refiere al desafío de comprender y controlar las decisiones y acciones de los sistemas y algoritmos de IA, lo que podría dificultar el control y la gobernanza de estos sistemas. De hecho, genera varios problemas de transparencia y rendición de cuentas con diferentes implicaciones legales y regulatorias correspondientes. 

Los principios de XAI giran en torno a la idea de diseñar sistemas de IA que sean transparentes, interpretables y que puedan proporcionar justificaciones claras para sus decisiones. En la práctica, esto implica desarrollar modelos de IA que los humanos entiendan, que puedan ser auditados y revisados, y que estén libres de consecuencias no deseadas, como sesgos y prácticas discriminatorias.

La explicabilidad consiste en hacer transparentes los factores y parámetros más críticos que dan forma a las decisiones de IA. Si bien se puede argumentar que es imposible proporcionar una explicación completa en todo momento debido a la complejidad interna de los sistemas de IA, se pueden programar parámetros y valores específicos en los sistemas de IA. Los altos niveles de explicabilidad son alcanzables, técnicamente valiosos y pueden impulsar la innovación. 

La importancia de la transparencia y la explicabilidad en los sistemas de IA ha sido reconocida en todo el mundo, con esfuerzos para desarrollar XAI en curso durante varios años. Como se señaló, XAI tiene varios beneficios: Podría decirse que es posible descubrir cómo y por qué tomó una decisión o actuó (en el caso de la IA incorporada) de la forma en que lo hizo. En consecuencia, la transparencia es esencial porque genera confianza y comprensión para los usuarios al mismo tiempo que permite el escrutinio simultáneo. 

La explicabilidad es un requisito previo para determinar otros principios “éticos” de IA, como la sostenibilidad, la justicia y la equidad. En teoría, permite el seguimiento de las aplicaciones de IA y el desarrollo de IA. Esto es particularmente importante para algunos casos de uso de IA y XAI, incluidas aplicaciones en el sistema de justicia, redes (sociales), atención médica, finanzas y seguridad nacional, donde los modelos de IA se utilizan para tomar decisiones críticas que afectan la vida de las personas y las sociedades en general. . 

Varias técnicas de ML pueden servir como ejemplos de XAI. Estas técnicas aumentan la explicabilidad, como los árboles de decisión (que pueden proporcionar una representación visual clara del proceso de toma de decisiones de un modelo de IA), los sistemas basados ​​en reglas (las reglas algorítmicas se definen en un formato comprensible para los humanos en los casos en que las reglas y interpretación son menos flexibles), redes bayesianas (modelos probabilísticos que representan causalidades e incertidumbres), modelos lineales (modelos que muestran cómo cada entrada contribuye a la salida), y técnicas similares a estas últimas en el caso de las redes neuronales. 

Los “productores” comerciales de IA son los principales responsables ante sus accionistas, por lo que pueden centrarse en gran medida en generar beneficios económicos, proteger los derechos de patente y evitar la regulación. Por lo tanto, si el funcionamiento de los sistemas comerciales de IA no es lo suficientemente transparente y se acumulan enormes cantidades de datos de forma privada para entrenar y mejorar la IA, es esencial comprender cómo funciona dicho sistema en su totalidad. 

En última instancia, la importancia de XAI radica en su capacidad para proporcionar información sobre el proceso de toma de decisiones de sus modelos, lo que permite a los usuarios, productores y agencias de monitoreo comprender cómo y por qué se creó un resultado en particular. 

Podría decirse que esto ayuda a generar confianza en los sistemas de inteligencia artificial gubernamentales y privados. Aumenta la responsabilidad y garantiza que los modelos de IA no sean sesgados ni discriminatorios. También ayuda a prevenir el reciclaje de datos de baja calidad o ilegales en instituciones públicas de bases de datos interinstitucionales adversas o integrales que se cruzan con sistemas algorítmicos de detección de fraude.

Conviene una vista comparativa, para entender mejor la importancia de la Inteligencia Artificial Explicada (Firgura 2).

Varios enfoques para lograr XAI incluyen visualizaciones, explicaciones en lenguaje natural e interfaces interactivas. Para empezar con lo último, las interfaces interactivas permiten a los usuarios explorar cómo cambian las predicciones del modelo a medida que se ajustan los parámetros de entrada. 

Las visualizaciones como los mapas de calor y los árboles de decisión pueden ayudar a las personas a visualizar el proceso de toma de decisiones del modelo. Los mapas de calor muestran gradientes de color e indican visualmente la importancia de ciertas características de entrada, que es la información que utiliza el modelo ML (explicable) para generar su salida o decisión. 

Los árboles de decisión muestran el proceso de toma de decisiones de un ML de acuerdo con diferentes ramas que se cruzan, como sugiere el nombre. Finalmente, las explicaciones en lenguaje natural pueden proporcionar justificaciones textuales para las predicciones del modelo de IA, lo que facilita la comprensión de los usuarios no técnicos. 

Es esencial tener en cuenta que cuando uno se enfoca en el subcampo del aprendizaje automático, el aprendizaje automático explicable (XML) se concentra específicamente en hacer que los modelos ML sean más transparentes e interpretables, yendo más allá del campo más amplio de XAI, que abarca todos los tipos de sistemas de IA. 

Hemos visto que la XAI indica que los sistemas de IA deben ser capaces de argumentar sus decisiones a los humanos de forma comprensible. Es un atributo fundamental, porque gracias esto, las personas podrían tender a confiar en los sistemas de IA y entender sus decisiones. El principio de la IA explicable también es importante por razones de seguridad, ya que permite a los humanos entender por qué el sistema de IA toma determinadas decisiones e intervenir si es necesario, cunado el nivel de riesgo es alto para los humanos.

Esta discusión recién comienza, porque aún se están desarrollando muchos sistemas modulares, tanto públicos como privados. Dados tantos intereses en juego, para burócrata y corporaciones, se deben exigir el cumplimiento y supervisión constante de normas para evitar que alguien se aproveche y tome ventaja que puede generar un gran perjuicio a un grupo de personas determinado. Toda tecnología de la información debe ser solo una herramienta de apoyo para facilitar la gestión de recursos de las personas. En caso alguno se debe tomar como un instrumento de daño para los ciudadanos del mundo.