Adentrándonos en el Futuro de la IA Generativa con la Malla LLM
A medida que más y más organizaciones experimentan con IA generativa y la implementan en producción, surge una pregunta crucial:
¿Pueden estas aplicaciones ser seguras y escalables en un contexto empresarial?.
La respuesta es sí, a través de la malla LLM; una columna vertebral común para las aplicaciones de IA generativa que promete remodelar cómo los equipos de análisis y TI acceden seguramente a los modelos y servicios de IA generativa.
LLM Mesh permite a las organizaciones crear aplicaciones de nivel empresarial de manera eficiente al tiempo que aborda las preocupaciones relacionadas con la gestión de costos, el cumplimiento y las dependencias tecnológicas. También permite la elección y flexibilidad entre el creciente número de modelos y proveedores.
Este artículo resume los desafíos centrales que responde LLM Mesh (es decir, la gestión de la seguridad, el rendimiento y el costo), los principales beneficios que las organizaciones pueden impulsar al aprovecharlos, y cómo Dataiku permite a las organizaciones crear e implementar aplicaciones de IA generativa de nivel empresarial a través de LLM Mesh.
Superando las barricadas Generativas de IA con la malla LLM
Para crear aplicaciones de IA generativas que generen valor a corto plazo y sostenido, los equipos de análisis y TI deben superar varios desafíos clave. La malla LLM fue diseñada para abordar
1) Elección y Dependencia
Los desarrolladores de aplicaciones tienen una creciente selección de modelos de diferentes proveedores a su disposición. Esto es bueno ya que los diferentes modelos y proveedores permiten a las organizaciones elegir el modelo y el servicio que mejor se adapte a las necesidades de costo, rendimiento y seguridad de una aplicación determinada.
Dado el panorama en rápido movimiento, los equipos se beneficiarán de mantener sus elecciones abiertas en lugar de ser víctimas de encerrarse. Sin embargo, si la aplicación está “conectada” al modelo o servicio subyacente, esto dificulta la prueba de diferentes modelos en la fase de diseño y crea una dependencia que puede ser difícil y costosa de romper una vez que la aplicación se implementa en producción.
2) Costos
Crear y ejecutar LLM es costoso, y los proveedores naturalmente pasan ese costo a través de las tarifas de API. Por lo tanto, la falta de administración adecuada de las solicitudes, especialmente para solicitudes repetidas, podría generar costos imprevistos considerables y un ojo morado severo para las operaciones de TI.
Si bien los equipos de datos evaluarán el rendimiento de los LLM en función de la precisión, TI debe centrarse en la latencia y los SLA.
3) Privacidad, Seguridad y Cumplimiento
Los usuarios de aplicaciones LLM crean indicaciones que pueden transmitir IP o PII corporativa sensible. Si los datos aparecen en el dominio público, esta fuga de datos podría provocar pérdida de ingresos, multas significativas (de los reguladores) o un desastre de relaciones públicas.
Además, las nuevas regulaciones de IA, como la Ley de IA de la UE, requerirán que las compañías que usan LLM muestren dónde están usando la tecnología, quién tiene acceso a la tecnología, y para demostrar que están limitando el riesgo para los consumidores o enfrentan multas significativas. Finalmente, las respuestas de los LLM pueden contener contenido inapropiado o incluso ofensivo (conocido como toxicidad).
Permitir que los empleados o, lo que es peor, los clientes vean este contenido podría afectar seriamente su negocio desde una perspectiva de relación con el cliente, legal y de relaciones públicas.
Beneficios de la malla LLM
Con la malla LLM entre los proveedores de servicios LLM y las aplicaciones de usuario final, las empresas tienen la agilidad de elegir los modelos más rentables para sus necesidades, garantizar la seguridad de sus datos y respuestas, y crear componentes reutilizables para el desarrollo de aplicaciones escalables. Vamos a sumergirnos un poco más en algunas de estas ventajas clave:
1) Aplicación de Desacoplamiento de la Capa de Servicio
No siempre está claro de inmediato qué LLM proporcionará la mejor salida para la aplicación que un equipo está intentando construir. Necesitan equilibrar costo, seguridad, rendimiento y velocidad. Primero, en la fase de diseño, deben poder probar eficientemente diferentes modelos para determinar cuál funcionará mejor. Luego, deben mantener la capacidad de cambiar una vez que se implementa la aplicación.
Este desacoplamiento de las capas de servicio de aplicación y IA permite diseñar las mejores aplicaciones posibles y luego mantenerlas fácilmente en producción.
2) Hacer cumplir una puerta de enlace segura
Las prácticas de TI estándar dictan que las organizaciones necesitan mantener un rastro completo de las consultas ejecutadas contra su infraestructura. Esto es tanto para administrar el rendimiento (identificar al culpable tras esa unión ineficiente) como para garantizar la seguridad (saber quién consulta qué datos y por qué razones). Las mismas necesidades se traducen a LLM.
LLM Mesh actúa como una puerta de enlace API segura para desglosar las dependencias codificadas y administrar y enrutar las solicitudes entre las aplicaciones y los servicios subyacentes. Un registro auditable de quién utiliza qué LLM y qué servicio permite el seguimiento de costos (como la facturación interna) y la trazabilidad completa de las solicitudes y respuestas a estos modelos a veces impredecibles.
3) Seguridad, Permisos y PII
Cuando se trata de la detección de datos privados, LLM Mesh evalúa cada solicitud de información confidencial, como datos confidenciales o de propiedad, o PII del cliente. Luego, el sistema toma las medidas apropiadas: redactar esta información confidencial antes de enviar la solicitud a la API LLM, bloquear la solicitud por completo y / o alertar a un administrador.
Existen múltiples formas de detección de PII, usando modelos estándar de detección de PII, utilizando bases de datos internas o usando servicios de terceros que proporcionan capacidades avanzadas o conocimientos específicos de la industria.
A continuación, para reducir el riesgo de que los usuarios comerciales realicen solicitudes no gobernadas a chatbots públicos, las empresas pueden usar servicios LLM pagados con acceso seguro., sin embargo, estos servicios, como OpenAI, Azure y Google, no capturan información de solicitud para la capacitación de modelos.
LLM Mesh proporciona acceso central a los servicios de IA, incluida la protección de las claves API, lo que permite el acceso controlado a los servicios de LLM y agiliza el desarrollo y mantenimiento de aplicaciones porque las claves no están codificadas en las aplicaciones.
4) Control de Costos y Rendimiento
La malla LLM monitorea el costo por consulta a LLM y agrega los costos por aplicación y servicio. Esto permite a los equipos pronosticar los costos y tomar decisiones informadas sobre el uso del servicio.
Para el monitoreo del rendimiento, LLM Mesh monitorea el rendimiento de ida y vuelta para los servicios y proveedores de LLM para que los equipos puedan diagnosticar problemas y seleccionar el servicio óptimo según las necesidades de la aplicación y los SLA, el almacenamiento en caché de respuestas a consultas comunes evita la necesidad de regenerar la respuesta, ofreciendo tanto ahorros de costos como un aumento de rendimiento.
5) Generación Aumentada por Recuperación y Bases de Datos Vectoriales
La malla LLM incluye componentes y capacidades de desarrollo de aplicaciones estándar para su uso en múltiples aplicaciones —, por ejemplo, Generación Aumentada de Recuperación (RAG). RAG se está convirtiendo en una forma estándar de infundir el conocimiento interno de su empresa en las respuestas de un LLM. RAG funciona indexando su conocimiento interno (como su catálogo de productos, su base de conocimientos de soporte, etc.) en una estructura de datos especializada llamada Vector Store.
En el momento de la consulta, la Tienda Vector busca las piezas de contenido más adecuadas en función de la consulta del usuario, y la inyecta en el mensaje que se envía al LLM, garantizar que el LLM pueda generar una respuesta que tenga en cuenta su conocimiento interno. La malla LLM proporciona integración con Vector Stores e implementa todo el patrón RAG sin necesidad de código..
Dataiku: Líder en la Transformación de IA Generativa Empresarial
Dataiku es el pionero de la plataforma LLM Mesh y proporciona funcionalidades necesarias para construir e implementar aplicaciones de IA generativa en los entornos empresariales más estrictos.
Es importante destacar que estas nuevas capacidades específicas de LLM no son complementos de la plataforma, sino que están profundamente integradas en las capacidades básicas que se han construido en la última década: conexiones de datos y seguridad, preparación de datos y tuberías, ciencia de datos y ML, operaciones y gobernanza. Y, como siempre, es accesible todo en un entorno colaborativo y de múltiples perfiles que ofrece UI de bajo y sin código, así como una experiencia de código completo para desarrolladores.
La malla LLM, como se describió anteriormente, es la solución holística a los desafíos que impiden que las organizaciones actuales aprovechen la IA generativa de manera segura y a escala. Como pionero en LLM Mesh, Dataiku tiene ya cuenta con componentes críticos para el desarrollo de aplicaciones de LLM empresarial.
Esto incluye:
Así como Dataiku ha creado el estándar común para análisis y ML en la empresa, la introducción de la malla LLM se convertirá en el estándar para IA generativa en la empresa.
En conclusión, la Malla LLM se erige como el cimiento sólido para la implementación segura y escalable de la inteligencia artificial generativa en entornos empresariales. En este viaje hacia la transformación, Dataiku ha liderado el camino, proporcionando no solo las herramientas necesarias, sino también estableciendo un estándar para la IA generativa en empresas.
A medida que exploramos el emocionante territorio de los Grandes Modelos de Lenguaje, te invitamos a sumergirte más en este fascinante viaje en nuestro blog.
Descubre cómo la Malla LLM está redefiniendo las posibilidades de la inteligencia artificial y cómo Dataiku continúa siendo un socio crucial en este viaje hacia el futuro.
Explora, aprende y sé parte de la revolución generativa con Dataiku y la Malla LLM. 🚀 ¡Tu próximo nivel de innovación te está esperando!
Trabaje con datos claros y disponibles para cada decisión.
Nuestro equipo les acompaña con entusiasmo, para acercarles al futuro que desean.
