Gestionando el Riesgo de la IA: Consejos para CIOs y Líderes de TI por parte de Gartner [¡y Dataiku!]
Los líderes de TI tienen la capacidad de ser los héroes en la implementación de la IA a nivel empresarial, siempre y cuando puedan encontrar el equilibrio adecuado entre velocidad y control.
Mantener el control sobre el desarrollo de modelos de IA en la empresa no es una tarea sencilla. Todos los proyectos de análisis e inteligencia artificial deben ser supervisados, porque nadie quiere utilizar un modelo defectuoso, de bajo rendimiento o no documentado.
En el informe de Gartner, “Aplicación de la IA: Gobierno y Gestión de Riesgos”, Gartner describe varios recursos relacionados con la gobernanza de IA y la gestión de riesgos. En este artículo compartiremos algunas de las recomendaciones hechas por Gartner y también compartiremos cómo Dataiku puede ayudar en cada una de ellas.
1. Organizar personas y procesos para apoyar la IA
Según Gartner, “Existen tres razones principales por las cuales los riesgos de la IA no se abordan adecuadamente en la mayoría de las organizaciones:
- Fragmentación organizacional: la propiedad de este ámbito se encuentra distribuida entre funciones como legal, cumplimiento, desarrollo de IA, arquitectura empresarial, privacidad y seguridad.
- Mentalidad orientada a la producción: la mayoría de las empresas se centran solamente en poner en producción sus modelos de IA; la construcción de la confianza y la gestión de riesgos en los ciclos de vida de la IA son una reflexión posterior.
- Las empresas no están convencidas de que sea necesario: La mayoría de las empresas no están administrando y monitoreando activamente los modelos de IA y la integridad de los datos después de las implementaciones, por lo que ni siquiera saben si existen estos riesgos de ineficacia. ”*
Los CIOs y líderes de TI están centrados en reducir los costos de infraestructura, avanzar en la implementación de una cultura de análisis de autoservicio, asegurar la calidad de datos y retorno de la inversión, y adicionalmente, ahora tienen que lidiar con la Inteligencia Artificial Generativa.
Con todo esto sobre sus hombros, los equipos de TI desempeñan un papel importante en reunir a las partes interesadas de toda la empresa para implementar la IA, no de manera aislada, sino de manera integral, con la gestión de riesgos incluida. Se les asigna la desafiante tarea de asegurar que toda la organización cuente con las herramientas y habilidades necesarias para adoptar y escalar el análisis de los datos y ahora, la inteligencia artificial.
Suena como una gran labor ¿verdad?
La plataforma de Dataiku para la IA cotidiana proporciona un único lugar para orquestar datos, realizar análisis y trabajar con inteligencia artificial, todo bajo un mismo techo y aprovechando los recursos subyacentes de la nube. Los Equipos de TI pueden administrar simultáneamente el riesgo y garantizar el cumplimiento a escala en toda la organización con la gestión avanzada de permisos, la integración de SSO y LDAP, registros de auditoría, acceso seguro a API y más.
2. Administrar los Riesgos Éticos y Sociales de la IA Empresarial
Según Gartner, “Cualquier organización que invierta en IA enfrentará un cierto nivel de riesgo de ético, de equidad y de sesgo, y eliminarlos por completo es imposible”. Además, Gartner afirma: “Los líderes de TI deben anticipar estos riesgos y equilibrar la compensación entre los riesgos de IA en todo el sistema y los beneficios de implementar la inteligencia artificial. En lugar de solo mitigar reactivamente el riesgo, las implementaciones deliberadas de IA deberían servir principalmente para un propósito detallado. Todas las desviaciones pueden ser monitoreadas en el contexto de no cumplir con ese propósito original, o desviarse lentamente de él, como el cambio de datos y el cambio del modelo, lo que lleva a resultados no deseados”.
Con el auge de la IA generativa, más que nunca, las organizaciones con líderes de TI al frente y los profesionales de datos que ejecutan los procesos, deben pensar en construir sistemas de IA de manera responsable y gobernada. El marco RAFT de Dataiku (Confiabilidad, Responsabilidad, Equidad y Transparencia) para la IA responsable destaca los siguientes principios:
- Confiabilidad y Seguridad: Los sistemas de IA se diseñan para garantizar la consistencia y la confiabilidad en todo el ciclo de vida. Los datos y modelos cuentan con privacidad mejorada.
- Responsabilidad y Gobernanza: La propiedad de cada aspecto del ciclo de vida de la IA se documenta y utilizada para apoyar los mecanismos de supervisión y control (lo cual es particularmente útil para los equipos de TI).
- Equidad y Centrado en el Ser Humano: Los sistemas de IA se diseñan para minimizar el sesgo contra individuos o grupos y apoyar la determinación y elección humana.
- Transparencia y Explicabilidad: El uso de IA se divulga a los usuarios finales y se proporcionan explicaciones para los métodos, parámetros y datos utilizados en los sistemas de IA.
Además de los riesgos sociotécnicos de la IA generativa, también existen consideraciones legales emergentes en torno a la privacidad y derechos de autor. A continuación, enumeramos una serie de riesgos que pueden surgir en el uso de IA generativa en la empresa. Estos riesgos son comunes en varios tipos de tecnología de IA generativa, pero se manifestarán de diferentes maneras en los casos de uso:
RISK FROM GENERATIVE AI AND LLMS
- Toxicidad: Salidas tóxicas, obscenas o inapropiadas de otro modo.
- Polaridad: Actitudes injustamente positivas o negativas hacia ciertos individuos o grupos.
- Discriminación: El rendimiento del modelo es menos robusto para ciertos grupos sociales.
- Interacciones entre Humanos y Computadoras: Exceso de confianza en las salidas de la IA debido a la percepción de sentencia o confianza ciega en un sistema automatizado.
- Desinformación: Presentación de respuestas o información incorrecta desde el punto de vista factual.
- Privacidad de Datos: Datos de entrada compartidos con proveedores de modelos de terceros y posiblemente compartidos como salidas futuras con usuarios no autorizados.
- Seguridad del Modelo: Capacidad de un usuario para eludir los protocolos de seguridad destinados a prevenir daños sociotécnicos o acceder a datos no autorizados.
- Infracciones de Derechos de Autor: Redistribución de material con derechos de autor presentado como contenido original.
Es importante tener en cuenta que estos daños no son exclusivos de los modelos de lenguaje, pero se ven agravados por el uso de técnicas de procesamiento de lenguaje natural para analizar, clasificar, o generar texto en una variedad de contextos empresariales. Comprender y abordar estos riesgos antes de implementar un gran modelo de lenguaje u otras técnicas de IA generativa en un sistema de IA es fundamental para garantizar el uso responsable y gobernado de la última tecnología.
3. Explicabilidad de la IA
Según Gartner, “La falta de comprensión del modelo de IA entre los usuarios, gerentes y consumidores que se ven afectados por las decisiones del mismo, limita severamente la capacidad de una organización para gestionar el riesgo de Inteligencia artificial. ”*
Es fundamental que las organizaciones entiendan cómo sus modelos toman decisiones porque:
- Les da la oportunidad de refinar y mejorar aún más sus análisis.
- Facilita la explicación a personas no expertas cómo el modelo utiliza los datos para tomar decisiones.
- La explicabilidad puede ayudar a los profesionales a evitar consecuencias negativas o imprevistas de sus modelos.
Dataiku ayuda a las organizaciones a lograr estos tres objetivos al lograr un equilibrio óptimo entre la interpretabilidad y el rendimiento del modelo. Dataiku está diseñado siguiendo las mejores prácticas metodológicas y la gobernanza a lo largo de todo el ciclo de vida de un modelo.
Como puedes ver, gestionar el riesgo de la inteligencia artificial puede parecer abrumador, particularmente para los líderes de TI.
En Dataiku, creemos que las herramientas marcan la diferencia, por lo que, para mitigar el riesgo (y al mismo tiempo combinar la IA Responsable, MLOps y el Gobierno de la IA), es necesario contar con una herramienta centralizada tanto para el desarrollo como para el monitoreo de la IA.
*Gartner – Aplicación de la IA — Gobierno y Gestión de Riesgos; Avivah Litahn, Bern Elliot, Svetlana Sicular, Shubhangi Vashisth, Gabriele Rigon, 3 de mayo de 2023. GARTNER es una marca registrada y marca de servicio de Gartner, Inc. y/o sus filiales en los Estados Unidos y a nivel internacional, y se utiliza en este documento con permiso. Todos los derechos reservados.
Propietario: Catie Grasso
Trabaje con datos claros y disponibles para cada decisión.
Nuestro equipo les acompaña con entusiasmo, para acercarles al futuro que desean.
