¿Qué es la Inteligencia Artificial explicable (XAI)?

by Romina Visconti | Mayo 13, 2023 2:56 pm

Una Inteligencia Artificial Explicable (XAI) comprende cómo y por qué el algoritmo toma decisiones o realiza predicciones, teniendo la capacidad para justificar los resultados que produce

Los beneficios de la XAI se refieren a la toma de decisiones informada, la reducción de riesgos, una mayor confianza, más adopciones del usuario, una mejor administración, sistemas más rápidos y la evolución y mayor utilidad de la IA

La inteligencia Artificial ya está dando mucho que hablar. Sin embargo, es bien conocida la crítica acerca de que los sistemas de inteligencia artificial (IA) pueden funcionar como una caja negra y, por lo tanto, no son transparentes.La “IA Explicable” (XAI; explainable AI)[1] ha surgido como un subcampo centrado en el desarrollo de sistemas que los humanos puedan entender y explicar.

Sin bien no se puede atribuir el término “IA explicable” a alguien en particular, hay consenso en que el concepto empezó a utilizarse a principios de la década de 2010,. 

Es preciso comprender los conceptos básicos y el objetivo de la XAI.[2] Pero antes, se debe entender qué es la IA. Si bien la inteligencia artificial, como campo de la ciencia, tiene una larga historia[3] y abarca un conjunto cada vez mayor de aplicaciones tecnológicas, hasta ahora, no existe una definición generalmente aceptada para la IA, Europa está a la vanguardia en el desarrollo de varios marcos legales y pautas éticas para implementar y desarrollar la IA[4] . Una propuesta[5] innovadora de la Comisión Europea (CE) en 2021 estableció la regulación para la primera definición legalmente vinculante de IA.  

Según esta propuesta, la IA se puede definir como un sistema que genera resultados como contenido, predicciones, recomendaciones o decisiones que influyen en los entornos con los que interactúan.

El presente artículo está basado en uno publicado por Alexandra Overgaag para[6] Cointelegraph[7].

[8]

Aprendizaje Automático y "Digitalización del mundo"

Para entender cómo funciona la Inteligencia Artificial, es necesario atender consideraciones iniciales.

Los sistemas de IA trabajan con modelos de aprendizaje automático (Machine Learning; ML)[9], supervisado, no supervisado, refuerzo y aprendizaje profundo, todos los cuales son categorías de ML[10] . Es importante considerar que la ML es un imperativo de la IA, pero no todos los sistemas de IA funcionan con técnicas avanzadas de ML, como aprendizaje profundo. Los sistemas de ML pueden aprender y adaptarse sin seguir instrucciones explícitas. De hecho, no todos los ML funcionan hacia un objetivo externo preestablecido, y algunos sistemas están diseñados para “razonar” hacia objetivos abstractos y, por lo tanto, funcionan sin una intervención humana constante.

Además, los sistemas de IA pueden funcionar con enfoques lógicos y basados ​​en el conocimiento, o combinarlos,[11] como la representación del conocimiento o la programación inductiva (lógica). El primero se refiere a codificar información de una manera que un sistema de IA pueda usar (por ejemplo, definiendo reglas y relaciones entre conceptos). Este último se refiere a modelos ML que aprenden reglas o hipótesis a partir de un conjunto de ejemplos. 

Un sistema de IA puede implementar otros métodos, como enfoques estadísticos (técnicas implementadas para aprender patrones o relaciones en los datos) y métodos de búsqueda y optimización, que buscan la mejor solución a un problema particular buscando en un amplio espacio de posibilidades. 

Además, la IA también se ha descrito[12] como “la capacidad de una entidad no natural para tomar decisiones mediante un proceso de evaluación“, según la definición de Jacob Turner, abogado, profesor de IA y autor. Tomando las definiciones de Turner y de la Counidad Europea, se puede deducir que los sistemas de IA a menudo pueden “aprender” y, en este sentido, influir en su entorno. Más allá del software, la IA también puede encontrarse en diferentes formas o incorporarse, como en la robótica. 

¿Cuáles son otros conceptos básicos de la IA?

Dado que los sistemas de IA están basados ​​en datos, el código de software y los datos son dos componentes cruciales de la IA. En este contexto, se puede argumentar que el progreso en la IA se está produciendo en una era junto con fenómenos que incluyen el ” software que se come el mundo[13] ” (lo que significa que las sociedades y la economía en su conjunto, han visto una transformación digital inmensa y continua) y la “‘datificación’ del mundo[14]” (digitalización), que argumenta que dicha transformación digital pasó por una cantidad cada vez mayor de datos que se generaban y recolectaban.

Pero, ¿por qué es importante?

Fundamentalmente, la captura y el procesamiento de datos se correlacionan con la forma en que se diseña el conjunto de algoritmos de una IA. Dicho esto, los algoritmos son pautas que deciden cómo realizar una tarea a través de una secuencia de reglas, un hilo de instrucciones que regulan el comportamiento de un sistema. .

La Caja Negra de la IA

Luego, después de entender estos conceptos, podemos entender que la  AI realiza “elecciones” o genera resultados (Figura 1), basados ​​en los datos (entrada) y los algoritmos. Además, la IA puede alejar sus decisiones del aporte humano, debido a su naturaleza de aprendizaje y las técnicas y enfoques mencionados anteriormente. Esas dos características contribuyen a la idea de que la IA a menudo funciona como una caja negra. 

El término “caja negra” se refiere al desafío de comprender y controlar las decisiones y acciones de los sistemas y algoritmos de IA, lo que podría dificultar el control y la gobernanza de estos sistemas. De hecho, genera varios problemas de transparencia y rendición de cuentas con diferentes implicaciones legales y regulatorias correspondientes. 

La importancia de la Inteligencia Artificial Explicable XAI

XAI implica diseñar sistemas de IA que puedan explicar su proceso de toma de decisiones a través de diversas técnicas. La XAI debería permitir a los observadores externos comprender mejor cómo se produce el resultado de un sistema de IA y qué tan confiable es. Esto es importante porque la IA puede provocar efectos adversos directos e indirectos, que pueden afectar a las personas y las sociedades. 

Así como explicar qué comprende la IA, explicar sus resultados y funcionamiento también puede ser desalentador, especialmente cuando entran en juego los sistemas de IA de aprendizaje profundo. Para que aquellos que no son especialistas visualicen cómo la IA aprende y descubre nueva información, se puede sostener que estos sistemas utilizan circuitos complejos en su núcleo interno, que tienen una forma similar a las redes neuronales en el cerebro humano. 

Las redes neuronales que facilitan la toma de decisiones de la IA a menudo se denominan sistemas de “aprendizaje profundo”. Se debate hasta qué punto las decisiones a las que llegan los sistemas de aprendizaje profundo son opacas o inescrutables, y hasta qué punto la IA y su “pensamiento” pueden y deben ser explicables a los humanos comunes.

El aprendizaje profundo a veces se considera una “caja negra”, lo que significa que puede ser difícil entender el comportamiento del modelo del aprendizaje profundo y cómo toma sus decisiones. La “explicabilidad” (argumentación) busca facilitar las explicaciones del aprendizaje profundo. Hay investigaciones en curso acerca de la evaluación de diferentes métodos de explicación..

El aprendizaje profundo y las cajas negras

Existe un debate entre los académicos sobre si los sistemas de aprendizaje profundo son realmente cajas negras o completamente transparentes. Sin embargo, el consenso general es que la mayoría de las decisiones deberían ser explicables hasta cierto punto. Esto es importante porque la implementación de sistemas de IA por parte de entidades estatales o comerciales puede afectar negativamente a las personas, por lo que es crucial garantizar que estos sistemas sean responsables y transparentes.

Por ejemplo, el caso de Systeem Risico Indicatie (SyRI)[15], es un ejemplo destacado que ilustra la necesidad de una IA explicable en la toma de decisiones del gobierno. SyRI era un sistema automatizado de toma de decisiones que usaba IA desarrollado por organizaciones semi-gubernamentales holandesas que usaban datos personales y otras herramientas para identificar posibles fraudes a través de procesos poco transparentes que luego se clasificaron como cajas negras.

El sistema fue objeto de escrutinio por su falta de transparencia y rendición de cuentas, tanto tribunales nacionales como organismos internacionales expresaron que violaba la privacidad y varios derechos humanos. El caso de SyRi ilustra cómo las aplicaciones gubernamentales de IA pueden afectar a los humanos, al replicar y amplificar los sesgos y la discriminación. SyRi apuntó injustamente a personas y comunidades vulnerables, como las poblaciones minoritarias y de bajos ingresos. 

SyRi tenía como objetivo encontrar posibles estafadores del bienestar social etiquetando a ciertas personas como de alto riesgo. SyRi, como sistema de detección de fraude, solo se ha implementado para analizar a las personas en vecindarios de bajos ingresos, ya que dichas áreas se consideraban zonas “problemáticas”. Como el Estado solo implementó el análisis de riesgo de SyRI en comunidades que ya se consideraban de alto riesgo, no es de extrañar que se encontraran más ciudadanos de alto riesgo allí (con respecto a otros vecindarios que no se consideran de “alto riesgo”). 

Esta etiqueta, a su vez, alentaría la creación de estereotipos y reforzaría una imagen negativa de los residentes que vivían en esos barrios (incluso si no se mencionaron en un informe de riesgo o se calificaron como “no-hit”) debido a las bases de datos integrales de organizaciones cruzadas. en el que dichos datos ingresaron y se reciclaron en las instituciones públicas. El caso ilustra que cuando los sistemas de IA producen resultados adversos no deseados, como sesgos, pueden pasar desapercibidos si falta transparencia y control externo.

Además de los Estados, las empresas privadas desarrollan o implementan muchos sistemas de IA con transparencia y explicabilidad superadas por otros intereses. Aunque se puede argumentar que las estructuras actuales que permiten la IA no existirían en sus formas actuales si no fuera por la financiación del gobierno anterior, una proporción significativa del progreso logrado en la IA hoy en día es financiado de forma privada y está aumentando constantemente[16] . De hecho, la inversión privada en IA en 2022 fue 18 veces mayor que en 2013. Aunque, parece que la incertidumbre financiera ha ralentizado la inversión en 2022[17].

Funcionamiento de la XAI

Los principios de XAI giran en torno a la idea de diseñar sistemas de IA que sean transparentes, interpretables y que puedan proporcionar justificaciones claras para sus decisiones. En la práctica, esto implica desarrollar modelos de IA que los humanos entiendan, que puedan ser auditados y revisados, y que estén libres de consecuencias no deseadas, como sesgos y prácticas discriminatorias.

La explicabilidad consiste en hacer transparentes los factores y parámetros más críticos que dan forma a las decisiones de IA. Si bien se puede argumentar que es imposible proporcionar una explicación completa en todo momento debido a la complejidad interna de los sistemas de IA, se pueden programar parámetros y valores específicos en los sistemas de IA. Los altos niveles de explicabilidad son alcanzables, técnicamente valiosos y pueden impulsar la innovación. 

La importancia de la transparencia y la explicabilidad en los sistemas de IA ha sido reconocida en todo el mundo, con esfuerzos para desarrollar XAI en curso durante varios años. Como se señaló, XAI tiene varios beneficios: Podría decirse que es posible descubrir cómo y por qué tomó una decisión o actuó (en el caso de la IA incorporada) de la forma en que lo hizo. En consecuencia, la transparencia es esencial porque genera confianza y comprensión para los usuarios al mismo tiempo que permite el escrutinio simultáneo. 

La explicabilidad es un requisito previo para determinar otros principios “éticos” de IA, como la sostenibilidad, la justicia y la equidad. En teoría, permite el seguimiento de las aplicaciones de IA y el desarrollo de IA. Esto es particularmente importante para algunos casos de uso de IA y XAI, incluidas aplicaciones en el sistema de justicia, redes (sociales), atención médica, finanzas y seguridad nacional, donde los modelos de IA se utilizan para tomar decisiones críticas que afectan la vida de las personas y las sociedades en general. . 

Varias técnicas de ML pueden servir como ejemplos de XAI. Estas técnicas aumentan la explicabilidad, como los árboles de decisión (que pueden proporcionar una representación visual clara del proceso de toma de decisiones de un modelo de IA), los sistemas basados ​​en reglas (las reglas algorítmicas se definen en un formato comprensible para los humanos en los casos en que las reglas y interpretación son menos flexibles), redes bayesianas (modelos probabilísticos que representan causalidades e incertidumbres), modelos lineales (modelos que muestran cómo cada entrada contribuye a la salida), y técnicas similares a estas últimas en el caso de las redes neuronales. 

Una cuestión de Transparencia

Los “productores” comerciales de IA son los principales responsables ante sus accionistas, por lo que pueden centrarse en gran medida en generar beneficios económicos, proteger los derechos de patente y evitar la regulación. Por lo tanto, si el funcionamiento de los sistemas comerciales de IA no es lo suficientemente transparente y se acumulan enormes cantidades de datos de forma privada para entrenar y mejorar la IA, es esencial comprender cómo funciona dicho sistema en su totalidad. 

En última instancia, la importancia de XAI radica en su capacidad para proporcionar información sobre el proceso de toma de decisiones de sus modelos, lo que permite a los usuarios, productores y agencias de monitoreo comprender cómo y por qué se creó un resultado en particular. 

Podría decirse que esto ayuda a generar confianza en los sistemas de inteligencia artificial gubernamentales y privados. Aumenta la responsabilidad y garantiza que los modelos de IA no sean sesgados ni discriminatorios. También ayuda a prevenir el reciclaje de datos de baja calidad o ilegales en instituciones públicas de bases de datos interinstitucionales adversas o integrales que se cruzan con sistemas algorítmicos de detección de fraude.

Conviene una vista comparativa, para entender mejor la importancia de la Inteligencia Artificial Explicada (Firgura 2).

Varios enfoques para lograr XAI incluyen visualizaciones, explicaciones en lenguaje natural e interfaces interactivas. Para empezar con lo último, las interfaces interactivas permiten a los usuarios explorar cómo cambian las predicciones del modelo a medida que se ajustan los parámetros de entrada. 

Las visualizaciones como los mapas de calor y los árboles de decisión pueden ayudar a las personas a visualizar el proceso de toma de decisiones del modelo. Los mapas de calor muestran gradientes de color e indican visualmente la importancia de ciertas características de entrada, que es la información que utiliza el modelo ML (explicable) para generar su salida o decisión. 

Los árboles de decisión muestran el proceso de toma de decisiones de un ML de acuerdo con diferentes ramas que se cruzan, como sugiere el nombre. Finalmente, las explicaciones en lenguaje natural pueden proporcionar justificaciones textuales para las predicciones del modelo de IA, lo que facilita la comprensión de los usuarios no técnicos. 

Es esencial tener en cuenta que cuando uno se enfoca en el subcampo del aprendizaje automático, el aprendizaje automático explicable (XML) se concentra específicamente en hacer que los modelos ML sean más transparentes e interpretables, yendo más allá del campo más amplio de XAI, que abarca todos los tipos de sistemas de IA. 

¿Hasta dónde puede alcanzar la XAI?

La XAI tiene varias limitaciones, algunas de ellas relacionadas con su implementación. Por ejemplo, los ingenieros tienden a centrarse en los requisitos funcionales y, aunque no sea así, los grandes equipos de ingenieros suelen desarrollar algoritmos con el tiempo. Esta complejidad hace que sea menos alcanzable una comprensión holística (integral) del proceso de desarrollo y los valores considerados en los sistemas de IA. 

Además, “Explicable” es un término abierto, lo que genera otras nociones cruciales al considerar la implementación de XAI. Incrustar o deducir la explicabilidad del código y los algoritmos de IA puede ser teóricamente preferible pero prácticamente problemático porque existe un conflicto entre la naturaleza prescrita de los algoritmos y el código, por un lado, y la flexibilidad de la terminología abierta, por el otro.

De hecho, cuando se prueba la ejecución de la IA al observar los parámetros y factores más críticos que dan forma a una decisión, surgen preguntas como qué equivale a una IA “transparente” o “interpretable”. ¿Qué tan altos son esos umbrales?

Finalmente, se reconoce ampliamente que el desarrollo de la IA ocurre exponencialmente. Combinando este crecimiento exponencial con sistemas de aprendizaje profundo y no supervisados, la IA per se podría, en teoría, encontrar formas de volverse inteligente en general, abriendo puertas a nuevas ideas, innovación y crecimiento. 

Para ilustrar esto, se puede considerar la investigación publicada[18] sobre “agentes generativos” donde se combinaron grandes modelos de lenguaje con agentes interactivos computacionales. Esta investigación introdujo agentes generativos en un entorno de caja de arena interactivo que consiste en una pequeña ciudad de veinticinco agentes que utilizan lenguaje natural. Fundamentalmente, los agentes producían comportamientos sociales individuales e interdependientes creíbles. Por ejemplo, comenzando con una única noción especificada por el usuario de que un agente quiere organizar una fiesta, los agentes se distribuyen de forma autónoma invitaciones a la fiesta entre sí.

¿Por qué es importante la palabra “autónomamente”? Se podría argumentar que cuando los sistemas de IA exhiben un comportamiento que no se puede rastrear adecuadamente hasta sus componentes individuales, se debe considerar que pueden surgir riesgos de cisne negro[19] u otros efectos adversos que no se pueden predecir o explicar con precisión. 

El concepto de XAI tiene un uso algo limitado en estos casos, donde la IA evoluciona y se mejora rápidamente. Por lo tanto, XAI parece insuficiente para mitigar los riesgos potenciales, y es posible que se requieran medidas preventivas adicionales en forma de directrices y leyes. 

A medida que la IA continúa evolucionando, la importancia de XAI seguirá creciendo. Los sistemas de IA se pueden aplicar para lo bueno, lo malo y lo feo. La medida en que la IA puede dar forma al[20] futuro de los humanos depende en parte de quién la implementa y con qué fines[21] , cómo se combina con otras tecnologías[22] y con qué principios y reglas se alinea. 

XAI podría prevenir o mitigar algunos de los posibles efectos adversos de un sistema de IA. Independientemente de la posibilidad de explicar cada decisión de un sistema de IA, la existencia de la noción de XAI implica que, en última instancia, los humanos son responsables de las decisiones y acciones derivadas de la IA. Y eso hace que AI y XAI estén sujetas a todo tipo de intereses.

[23]

Reflexiones Finales

Hemos visto que la XAI indica que los sistemas de IA deben ser capaces de argumentar sus decisiones a los humanos de forma comprensible. Es un atributo fundamental, porque gracias esto, las personas podrían tender a confiar en los sistemas de IA y entender sus decisiones. El principio de la IA explicable también es importante por razones de seguridad, ya que permite a los humanos entender por qué el sistema de IA toma determinadas decisiones e intervenir si es necesario, cunado el nivel de riesgo es alto para los humanos.

Esta discusión recién comienza, porque aún se están desarrollando muchos sistemas modulares, tanto públicos como privados. Dados tantos intereses en juego, para burócrata y corporaciones, se deben exigir el cumplimiento y supervisión constante de normas para evitar que alguien se aproveche y tome ventaja que puede generar un gran perjuicio a un grupo de personas determinado. Toda tecnología de la información debe ser solo una herramienta de apoyo para facilitar la gestión de recursos de las personas. En caso alguno se debe tomar como un instrumento de daño para los ciudadanos del mundo.

Compártelo:

Endnotes:
  1. “IA Explicable” (XAI; explainable AI): https://cointelegraph.com/explained/what-is-explainable-ai-xai
  2. objetivo de la XAI.: https://www.juniper.net/mx/es/research-topics/what-is-explainable-ai-xai.html
  3. historia: https://cointelegraph.com/news/a-brief-history-of-artificial-intelligence
  4. pautas éticas para implementar y desarrollar la IA: https://cointelegraph.com/explained/ethical-considerations-in-ai-development-and-deployment
  5. Una propuesta: https://digital-strategy.ec.europa.eu/en/library/proposal-regulation-laying-down-harmonised-rules-artificial-intelligence
  6. Alexandra Overgaag para: https://cointelegraph.com/authors/alexandra-overgaag
  7. Cointelegraph: https://cointelegraph.com/explained/what-is-explainable-ai-xai
  8. [Image]: https://nftparatodos.cl/nft-para-todos-ebook/
  9. de aprendizaje automático (Machine Learning; ML): https://cointelegraph.com/news/5-emerging-trends-in-deep-learning-and-artificial-intelligence
  10. categorías de ML: https://cointelegraph.com/news/5-key-features-of-machine-learning
  11. combinarlos,: https://cointelegraph.com/news/5-natural-language-processing-libraries-to-use
  12. descrito: https://www.researchgate.net/publication/330052017_Robot_Rules_Regulating_Artificial_Intelligence
  13. software que se come el mundo: https://www.wsj.com/articles/SB10001424053111903480904576512250915629460
  14. datificación’ del mundo: https://www.aiforhumanity.fr/pdfs/MissionVillani_Report_ENG-VF.pdf
  15. Systeem Risico Indicatie (SyRI): https://journals.sagepub.com/doi/full/10.1177/13882627211031257
  16. constantemente: https://aiindex.stanford.edu/wp-content/uploads/2023/04/HAI_AI-Index-Report_2023.pdf
  17. parece que la incertidumbre financiera ha ralentizado la inversión en 2022: https://diarioti.com/la-inversion-en-ia-cae-por-primera-vez-en-una-decada/121997
  18. publicada: https://arxiv.org/abs/2304.03442
  19. cisne negro: https://economipedia.com/definiciones/cisne-negro.html
  20. dar forma al: https://cointelegraph.com/news/10-emerging-technologies-in-computer-science-that-will-shape-the-future]
  21. fines: https://cointelegraph.com/explained/what-are-artificial-intelligence-ai-crypto-coins-and-how-do-they-work
  22. otras tecnologías: https://cointelegraph.com/learn/roots-of-defi-artificial-intelligence-big-data-cloud-computing-and-distributed-ledger-technology
  23. [Image]: https://accounts.binance.com/es/register?ref=KDX9UKRP

Source URL: https://nftparatodos.cl/que-es-la-inteligencia-artificial-explicable-xai/