Accenture crea una solución Knowledge Assist utilizando servicios de IA generativa en AWS

Esta publicación está coescrita con Ilan Geller y Shuyu Yang de Accenture.

Hoy en día, las empresas enfrentan grandes desafíos cuando se trata de utilizar su información y bases de conocimientos para operaciones comerciales internas y externas. Con operaciones, procesos, políticas y requisitos de cumplimiento en constante evolución, puede resultar extremadamente difícil para los empleados y clientes mantenerse actualizados. Al mismo tiempo, la naturaleza no estructurada de gran parte de este contenido hace que sea lento encontrar respuestas mediante la búsqueda tradicional.

Internamente, los empleados a menudo pueden pasar innumerables horas buscando la información que necesitan para realizar su trabajo, lo que genera frustración y reducción de la productividad. Y cuando no pueden encontrar respuestas, tienen que escalar los problemas o tomar decisiones sin un contexto completo, lo que puede generar riesgos.

Externamente, a los clientes también les puede resultar frustrante localizar la información que buscan. Aunque las bases de conocimiento empresarial han mejorado, con el tiempo, la experiencia del cliente, todavía pueden ser engorrosas y difíciles de usar. Ya sea que busque respuestas a una pregunta relacionada con un producto o necesite información sobre horarios y ubicaciones de atención, una mala experiencia puede generar frustración o, peor aún, la deserción de un cliente.

En cualquier caso, a medida que la gestión del conocimiento se vuelve más compleja, la IA generativa presenta una oportunidad revolucionaria para que las empresas conecten a las personas con la información que necesitan para desempeñarse e innovar. Con la estrategia adecuada, estas soluciones inteligentes pueden transformar la forma en que se captura, organiza y utiliza el conocimiento en una organización.

Para ayudar a afrontar este desafío, Accenture colaboró ​​con AWS para crear una solución innovadora de IA generativa llamada Knowledge Assist. Al utilizar los servicios de IA generativa de AWS, el equipo ha desarrollado un sistema que puede ingerir y comprender cantidades masivas de contenido empresarial no estructurado.

En lugar de las tradicionales búsquedas de palabras clave, los usuarios ahora pueden hacer preguntas y extraer respuestas precisas en una interfaz sencilla y conversacional. La IA generativa comprende el contexto y las relaciones dentro de la base de conocimientos para ofrecer respuestas personalizadas y precisas. A medida que responde a más consultas, el sistema mejora continuamente su procesamiento del lenguaje a través de algoritmos de aprendizaje automático (ML).

Desde el lanzamiento de este marco de asistencia de IA, las empresas han visto mejoras espectaculares en la retención de conocimientos y la productividad de los empleados. Al proporcionar acceso rápido y preciso a la información y permitir que los empleados realicen autoservicio, esta solución reduce el tiempo de capacitación para los nuevos empleados en más de un 50 % y reduce las escalaciones hasta en un 40 %.

Con el poder de la IA generativa, las empresas pueden transformar la forma en que se captura, organiza y comparte el conocimiento en toda la organización. Al desbloquear sus bases de conocimientos existentes, las empresas pueden aumentar la productividad de los empleados y la satisfacción del cliente. Como lo demuestra la colaboración de Accenture con AWS, el futuro de la gestión del conocimiento empresarial reside en los sistemas impulsados ​​por IA que evolucionan a través de interacciones entre humanos y máquinas.

Accenture está trabajando con AWS para ayudar a los clientes a implementar Amazon Bedrock, utilizar los modelos fundamentales más avanzados, como Amazon Titan, e implementar tecnologías líderes en la industria, como Amazon SageMaker JumpStart y Amazon Inferentia, junto con otros servicios de AWS ML.

Esta publicación proporciona una descripción general de una solución de IA generativa de extremo a extremo desarrollada por Accenture para un caso de uso de producción que utiliza Amazon Bedrock y otros servicios de AWS.

Descripción general de la solución

Un gran cliente del sector de la salud pública atiende a millones de ciudadanos todos los días y exigen un fácil acceso a información actualizada en un panorama sanitario en constante cambio. Accenture ha integrado esta funcionalidad de IA generativa en un bot de preguntas frecuentes existente, lo que permite que el chatbot brinde respuestas a una gama más amplia de preguntas de los usuarios. Aumentar la capacidad de los ciudadanos para acceder a información pertinente de forma autoservicio ahorra tiempo y dinero al departamento, reduciendo la necesidad de interacción con los agentes del centro de llamadas. Las características clave de la solución incluyen:

• Enfoque de intención híbrida – Utiliza intenciones generativas y previamente entrenadas.
• Soporte multilingüe – Conversa en inglés y español.
• Análisis conversacional – Informes sobre las necesidades, sentimientos e inquietudes de los usuarios.
• Conversaciones naturales – Mantiene el contexto con procesamiento del lenguaje natural (PLN) similar al humano
• Citas transparentes – Guía a los usuarios a la información fuente.

La solución de IA generativa de Accenture ofrece las siguientes ventajas sobre los marcos de chatbot tradicionales o existentes:

• Genera rápidamente respuestas precisas, relevantes y que suenan naturales a las consultas de los usuarios.
• Recuerda el contexto y responde preguntas de seguimiento.
• Maneja consultas y genera respuestas en múltiples idiomas (como inglés y español)
• Aprende y mejora continuamente las respuestas basadas en los comentarios de los usuarios.
• Es fácilmente integrable con su plataforma web existente
• Ingiere un vasto repositorio de base de conocimientos empresariales
• Responde de manera humana.
• La evolución del conocimiento está continuamente disponible con un mínimo o ningún esfuerzo.
• Utiliza un modelo de pago por uso sin costos iniciales

El flujo de trabajo de alto nivel de esta solución implica los siguientes pasos:

1. Los usuarios crean una integración sencilla con las plataformas web existentes.
2. Los datos se incorporan a la plataforma como una carga masiva el día 0 y luego como cargas incrementales el día 1+.​
3. Las consultas de los usuarios se procesan en tiempo real y el sistema se escala según sea necesario para satisfacer la demanda de los usuarios.
4. Las conversaciones se guardan en las bases de datos de la aplicación (Amazon Dynamo DB) para admitir conversaciones de varias rondas.
5. El modelo básico de Anthropic Claude se invoca a través de Amazon Bedrock, que se utiliza para generar respuestas a consultas basadas en el contenido más relevante.
6. El modelo básico de Anthropic Claude se utiliza para traducir consultas y respuestas del inglés a otros idiomas deseados para respaldar conversaciones en varios idiomas.
7. El modelo de base de Amazon Titan se invoca a través de Amazon Bedrock para generar incrustaciones de vectores.
8. La relevancia del contenido se determina a través de la similitud de las incrustaciones de contenido sin procesar y la incrustación de consultas del usuario mediante el uso de incrustaciones de bases de datos vectoriales Pinecone.
9. El contexto junto con la pregunta del usuario se agrega para crear un mensaje, que se proporciona como entrada al modelo Anthropic Claude. La respuesta generada se devuelve al usuario a través de la plataforma web.

El siguiente diagrama ilustra la arquitectura de la solución.

El flujo de la arquitectura se puede entender en dos partes:

En las siguientes secciones, analizamos con más detalle diferentes aspectos de la solución y su desarrollo.

Selección de modelo

El proceso de selección de modelos incluyó pruebas de regresión de varios modelos disponibles en Amazon Bedrock, que incluían los modelos AI21 Labs, Cohere, Anthropic y Amazon Foundation. Verificamos los casos de uso admitidos, los atributos del modelo, los tokens máximos, el costo, la precisión, el rendimiento y los idiomas. En base a esto, seleccionamos Claude-2 como el más adecuado para este caso de uso.

Fuente de datos

Creamos un índice de Amazon Kendra y agregamos una fuente de datos utilizando conectores de rastreador web con una URL web raíz y una profundidad de directorio de dos niveles. Se incorporaron varias páginas web al índice Amazon Kendra y se utilizaron como fuente de datos.

Proceso de solicitud y respuesta del chatbot GenAI

Los pasos de este proceso consisten en una interacción de un extremo a otro con una solicitud de Amazon Lex y una respuesta de un modelo de lenguaje grande (LLM):

1. El usuario envía la solicitud a la aplicación front-end conversacional alojada en un depósito de Amazon Simple Storage Service (Amazon S3) a través de Amazon Route 53 y Amazon CloudFront.
2. Amazon Lex comprende la intención y dirige la solicitud al orquestador alojado en una función de AWS Lambda.
3. La función Lambda del orquestador realiza los siguientes pasos:
   1. La función interactúa con la base de datos de la aplicación, que está alojada en una base de datos administrada por DynamoDB. La base de datos almacena el ID de sesión y el ID de usuario para el historial de conversaciones.
   2. Se envía otra solicitud al índice de Amazon Kendra para obtener los cinco resultados de búsqueda más relevantes para crear el contexto relevante. Utilizando este contexto, se construye el mensaje modificado requerido para el modelo LLM.
   3. Se establece la conexión entre Amazon Bedrock y el orquestador. Se publica una solicitud en el modelo Amazon Bedrock Claude-2 para obtener la respuesta del modelo LLM seleccionado.
4. Los datos se procesan posteriormente a partir de la respuesta de LLM y se envía una respuesta al usuario.

Informes en línea

El proceso de presentación de informes en línea consta de los siguientes pasos:

1. Los usuarios finales interactúan con el chatbot a través de una capa frontal de CDN de CloudFront.
2. Cada interacción de solicitud/respuesta es facilitada por el SDK de AWS y envía tráfico de red a Amazon Lex (el componente NLP del bot).
3. Los metadatos sobre los pares de solicitud/respuesta se registran en Amazon CloudWatch.
4. El grupo de registros de CloudWatch está configurado con un filtro de suscripción que envía registros a Amazon OpenSearch Service.
5. Una vez disponibles en el servicio OpenSearch, los registros se pueden utilizar para generar informes y paneles utilizando Kibana.

Conclusión

En esta publicación, mostramos cómo Accenture utiliza los servicios de IA generativa de AWS para implementar un enfoque de extremo a extremo hacia la transformación digital. Identificamos las brechas en las plataformas tradicionales de respuesta a preguntas y aumentamos la inteligencia generativa dentro de su marco para tiempos de respuesta más rápidos y mejorar continuamente el sistema mientras interactuamos con los usuarios de todo el mundo. Comuníquese con el equipo del Centro de Excelencia de Accenture para profundizar en la solución e implementarla para sus clientes.

Esta plataforma Knowledge Assist se puede aplicar a diferentes industrias, incluidas, entre otras, ciencias de la salud, servicios financieros, manufactura y más. Esta plataforma proporciona respuestas naturales y humanas a preguntas utilizando conocimientos seguros. Esta plataforma permite eficiencia, productividad y acciones más precisas que sus usuarios pueden realizar.

El esfuerzo conjunto se basa en la relación estratégica de 15 años entre las empresas y utiliza los mismos mecanismos y aceleradores probados creados por Accenture AWS Business Group (AABG).

Conéctese con el equipo de AABG en [email protected] para impulsar los resultados comerciales mediante la transformación a una empresa de datos inteligente en AWS.

Para obtener más información sobre la IA generativa en AWS mediante Amazon Bedrock o Amazon SageMaker, recomendamos los siguientes recursos:

Tú también puedes ai-interest-learn.html” target=”_blank” rel=”noopener”>suscríbase al boletín informativo sobre IA generativa de AWSque incluye recursos educativos, blogs y actualizaciones de servicios.

Sobre los autores

Ilán Geller es el Director General de Accenture con enfoque en Inteligencia Artificial, ayudando a los clientes a escalar aplicaciones de Inteligencia Artificial y el Socio Líder Global GenAI COE para AWS.

Shuyu Yang Es líder de entrega de modelos de lenguaje grande e inteligencia artificial generativa y también lidera los equipos de CoE (Centro de excelencia) Accenture ai (profesional de AWS DevOps).

Shikhar Kwatra es un arquitecto de soluciones especialista en IA/ML en Amazon Web Services y trabaja con un integrador de sistemas global líder. Ha obtenido el título de uno de los maestros inventores indios más jóvenes con más de 500 patentes en los dominios de IA/ML e IoT. Shikhar ayuda en la arquitectura, la construcción y el mantenimiento de entornos de nube escalables y rentables para la organización, y apoya al socio de GSI en la creación de soluciones industriales estratégicas en AWS.

Jay Pillai es arquitecto principal de soluciones en Amazon Web Services. En este puesto, se desempeña como arquitecto principal de IA generativa global y también como arquitecto principal de soluciones de cadena de suministro con AABG. Como líder en tecnología de la información, Jay se especializa en dominios de inteligencia artificial, integración de datos, inteligencia empresarial e interfaz de usuario. Tiene 23 años de amplia experiencia trabajando con varios clientes en los dominios comerciales de la cadena de suministro, tecnologías legales, bienes raíces, servicios financieros, seguros, pagos e investigación de mercado.

Karthik Sonthi lidera un equipo global de arquitectos de soluciones enfocados en conceptualizar, construir y lanzar soluciones horizontales, funcionales y verticales con Accenture para ayudar a nuestros clientes conjuntos a transformar su negocio de una manera diferenciada en AWS.