Cómo Planview creó un asistente de IA escalable para la gestión de carteras y proyectos utilizando Amazon Bedrock

Esta publicación está coescrita con Lee Rehwinkel de Planview.

Hoy en día, las empresas enfrentan numerosos desafíos al gestionar proyectos y programas complejos, obtener información valiosa a partir de volúmenes masivos de datos y tomar decisiones oportunas. Estos obstáculos frecuentemente generan cuellos de botella en la productividad para los gerentes y ejecutivos de programas, lo que dificulta su capacidad para impulsar el éxito organizacional de manera eficiente.

Vista en plantaun proveedor líder de soluciones de gestión del trabajo conectado, se embarcó en un ambicioso plan en 2023 para revolucionar la forma en que 3 millones de usuarios globales interactúan con sus aplicaciones de gestión de proyectos. Para hacer realidad esta visión, Planview desarrolló un asistente de inteligencia artificial llamado ai/” target=”_blank” rel=”noopener”>Copiloto de vista en planoutilizando un sistema multiagente impulsado por amazon Bedrock.

El desarrollo de este sistema multiagente planteó varios desafíos:

• Enrutar tareas de manera confiable a los agentes de IA apropiados
• Acceder a datos de diversas fuentes y formatos
• Interactuar con múltiples API de aplicaciones
• Permitir la creación de autoservicio de nuevas habilidades de IA por parte de diferentes equipos de productos.

Para superar estos desafíos, Planview desarrolló una arquitectura multiagente creada con amazon Bedrock. amazon Bedrock es un servicio totalmente administrado que brinda acceso API a modelos básicos (FM) de amazon y otras empresas emergentes líderes en inteligencia artificial. Esto permite a los desarrolladores elegir el FM que mejor se adapte a su caso de uso. Este enfoque es escalable tanto desde el punto de vista arquitectónico como organizativo, lo que permite a Planview desarrollar e implementar rápidamente nuevas habilidades de IA para satisfacer las necesidades cambiantes de sus clientes.

Esta publicación se centra principalmente en el primer desafío: enrutar tareas y administrar múltiples agentes en una arquitectura de IA generativa. Exploramos el enfoque de Planview ante este desafío durante el desarrollo de Planview Copilot, compartiendo conocimientos sobre las decisiones de diseño que proporcionan un enrutamiento de tareas eficiente y confiable.

En esta publicación describimos agentes locales personalizados porque este proyecto se implementó antes de que amazon Bedrock Agents estuviera disponible de forma generalizada. Sin embargo, amazon Bedrock Agents es ahora la solución recomendada para las organizaciones que buscan utilizar agentes con tecnología de inteligencia artificial en sus operaciones. Los agentes de amazon Bedrock pueden retener la memoria a través de las interacciones, ofreciendo experiencias de usuario más personalizadas y fluidas. Puede beneficiarse de recomendaciones mejoradas y de recordar el contexto anterior cuando sea necesario, disfrutando de una interacción más coherente y eficiente con el agente. Compartimos lo aprendido en nuestra solución para ayudarlo a comprender cómo utilizar la tecnología AWS para crear soluciones que cumplan sus objetivos.

Descripción general de la solución

La arquitectura multiagente de Planview consta de múltiples componentes de IA generativa que colaboran como un único sistema. Básicamente, un orquestador es responsable de enviar preguntas a varios agentes, recopilar la información aprendida y proporcionar a los usuarios una respuesta sintetizada. El orquestador está administrado por un equipo de desarrollo central y los agentes están administrados por cada equipo de aplicación.

El orquestador consta de dos componentes principales llamados enrutador y respondedor, que funcionan con un modelo de lenguaje grande (LLM). El enrutador utiliza IA para dirigir de manera inteligente las preguntas de los usuarios a varios agentes de aplicaciones con capacidades especializadas. Los agentes se pueden clasificar en tres tipos principales:

• Agente de ayuda – Utiliza recuperación de generación aumentada (RAG) para proporcionar ayuda con la aplicación
• Agente de datos – Accede y analiza dinámicamente los datos del cliente.
• agente de acción – Ejecuta acciones dentro de la aplicación en nombre del usuario.

Una vez que los agentes han procesado las preguntas y proporcionado sus respuestas, el respondedor, también impulsado por un LLM, sintetiza la información aprendida y formula una respuesta coherente para el usuario. Esta arquitectura permite una colaboración perfecta entre el orquestador centralizado y los agentes especializados, lo que proporciona a los usuarios respuestas precisas y completas a sus preguntas. El siguiente diagrama ilustra el flujo de trabajo de un extremo a otro.

Descripción técnica

Planview utilizó servicios clave de AWS para crear su arquitectura multiagente. El servicio central Copilot, impulsado por amazon Elastic Kubernetes Service (amazon EKS), es responsable de coordinar las actividades entre los distintos servicios. Sus responsabilidades incluyen:

• Administrar el historial de chat de sesiones de usuario mediante amazon Relational Database Service (amazon RDS)
• Coordinar el tráfico entre el enrutador, los agentes de aplicación y el respondedor.
• Manejo del registro, monitoreo y recopilación de comentarios enviados por los usuarios.

El enrutador y el respondedor son funciones de AWS Lambda que interactúan con amazon Bedrock. El enrutador considera las preguntas del usuario y el historial de chat del servicio central Copilot, y el respondedor considera las preguntas del usuario, el historial de chat y las respuestas de cada agente.

Los equipos de aplicaciones administran a sus agentes mediante funciones Lambda que interactúan con amazon Bedrock. Para mejorar la visibilidad, la evaluación y el seguimiento, Planview ha adoptado un servicio de depósito de indicaciones centralizado para almacenar las indicaciones de LLM.

Los agentes pueden interactuar con las aplicaciones utilizando varios métodos según el caso de uso y la disponibilidad de datos:

• API de aplicaciones existentes – Los agentes pueden comunicarse con las aplicaciones a través de sus puntos finales API existentes.
• amazon Athena o almacenes de datos SQL tradicionales – Los agentes pueden recuperar datos de amazon Athena u otros almacenes de datos basados ​​en SQL para proporcionar información relevante
• amazon Neptune para datos gráficos – Los agentes pueden acceder a datos de gráficos almacenados en amazon Neptune para respaldar análisis de dependencia complejos
• Servicio amazon OpenSearch para documentos RAG – Los agentes pueden utilizar amazon OpenSearch Service para realizar RAG en documentos

El siguiente diagrama ilustra la arquitectura del asistente de IA generativa en AWS.

Mensajes de ejemplo de enrutador y respondedor

Los componentes del enrutador y del respondedor trabajan juntos para procesar las consultas de los usuarios y generar respuestas adecuadas. Los siguientes mensajes proporcionan plantillas ilustrativas de mensajes de enrutador y respondedor. Se requeriría ingeniería rápida adicional para mejorar la confiabilidad de una implementación de producción.

Primero, se describen las herramientas disponibles, incluido su propósito y ejemplos de preguntas que se pueden formular sobre cada herramienta. Las preguntas de ejemplo ayudan a guiar las interacciones en lenguaje natural entre el orquestador y los agentes disponibles, representados por herramientas.

tools=""'

applicationHelp

Use this tool to answer application help related questions.
Example questions:
How do I reset my password?
How do I add a new user?
How do I create a task?



dataQuery

Use this tool to answer questions using application data.
Example questions:
Which tasks are assigned to me?
How many tasks are due next week?
Which task is most at risk?

A continuación, el mensaje del enrutador describe las pautas para que el agente responda directamente a las consultas de los usuarios o solicite información a través de herramientas específicas antes de formular una respuesta:

system_prompt_router = f'''

Your job is to decide if you need additional information to fully answer the User's 
questions.
You achieve your goal by choosing either 'respond' or 'callTool'.
You have access to your chat history in  tags.
You also have a list of available tools to assist you in  tags.


{chatHistory}


{tools}


- If the chat history contains sufficient information to answer the User's questions, 
choose the 'respond' action.
- To gather more information before responding, choose the 'callTool' action.
- You many only choose from the tools in the  tags.
- If no tool can assist with the question, choose the 'respond' action.
- Place your chosen action within  tags.
- When you chose the 'callTool' action, provide the  and the  you
would like to ask.
- Your  should be verbose and avoid using pronouns.
- Start by providing your step-by-step thinking in  tags.
- Then you will give your answer in  tags.
- Your answer should follow the format of one of these three examples:
When choosing the 'respond' action, your answer should follow the below example EXACTLY:


respond


When choosing the 'callTool' action for a single Tool:


callTool


applicationHelp
How do I reset my password?




Executing the above, would produce the following result:
You can also call multiple Tools using this format:


callTool


dataQuery
How many tasks are assigned to me?


applicationHelp
How do I add a new task?





'''

La siguiente es una respuesta de ejemplo del componente del enrutador que inicia la herramienta dataQuery para recuperar y analizar las asignaciones de tareas para cada usuario:

To determine who has the most tasks assigned, I will need to query the application data. The "dataQuery" tool seems most appropriate for this question.



callTool

    
        dataQuery
        Which user has the most tasks currently assigned to them?   
    

La siguiente es una respuesta de ejemplo del componente de respuesta que utiliza la herramienta dataQuery para obtener información sobre las tareas asignadas al usuario. Informa que el usuario tiene cinco tareas asignadas.

Based on the chat history, I previously called the dataQuery tool to ask "How many tasks are currently assigned to the user?". The tool responded that the user has 5 tasks assigned to them.



According to the data I queried previously, you have 5 tasks assigned to you.

Evaluación y selección de modelos.

Evaluar y monitorear el desempeño del modelo de IA generativa es crucial en cualquier sistema de IA. La arquitectura multiagente de Planview permite la evaluación en varios niveles de componentes, proporcionando un control de calidad integral a pesar de la complejidad del sistema. Planview evalúa componentes en tres niveles:

• Indicaciones – Evaluación de las indicaciones de LLM para determinar su eficacia y precisión.
• Agentes de IA – Evaluación de cadenas de avisos completas para mantener un manejo óptimo de las tareas y la relevancia de la respuesta.
• sistema de inteligencia artificial – Probar las interacciones cara a cara del usuario para verificar la integración perfecta de todos los componentes.

La siguiente figura ilustra el marco de evaluación de indicaciones y puntuación.

Para realizar estas evaluaciones, Planview utiliza un conjunto de preguntas de prueba cuidadosamente elaboradas que cubren consultas típicas de los usuarios y casos extremos. Estas evaluaciones se realizan durante la fase de desarrollo y continúan en producción para realizar un seguimiento de la calidad de las respuestas a lo largo del tiempo. Actualmente, los evaluadores humanos desempeñan un papel crucial en la puntuación de las respuestas. Para ayudar en la evaluación, Planview ha desarrollado una herramienta de evaluación interna para almacenar la biblioteca de preguntas y realizar un seguimiento de las respuestas a lo largo del tiempo.

Para evaluar cada componente y determinar el modelo de amazon Bedrock más adecuado para una tarea determinada, Planview estableció los siguientes criterios de evaluación priorizados:

• Calidad de respuesta – Garantizar la precisión, relevancia y utilidad de las respuestas del sistema.
• Tiempo de respuesta – Minimizar la latencia entre las consultas de los usuarios y las respuestas del sistema.
• Escala – Asegurarse de que el sistema pueda escalar a miles de usuarios simultáneos
• Costo de respuesta – Optimización de los costos operativos, incluidos los servicios de AWS y los modelos de IA generativa, para mantener la viabilidad económica.

Con base en estos criterios y el caso de uso actual, Planview seleccionó Claude 3 Sonnet de Anthropic en amazon Bedrock para los componentes del enrutador y del respondedor.

Resultados e impacto

Durante el año pasado, el rendimiento de Planview Copilot mejoró significativamente mediante la implementación de una arquitectura multiagente, el desarrollo de un marco de evaluación sólido y la adopción de los últimos FM disponibles a través de amazon Bedrock. Planview obtuvo los siguientes resultados entre la primera generación de Planview Copilot desarrollada a mediados de 2023 y la última versión:

• Exactitud – La precisión evaluada por humanos ha mejorado desde el 50 % de aceptación de respuestas hasta superar el 95 %.
• Tiempo de respuesta – Los tiempos de respuesta promedio se han reducido de más de 1 minuto a 20 segundos.
• Pruebas de carga – El asistente de IA pasó con éxito las pruebas de carga, en las que se enviaron 1000 preguntas simultáneamente sin ningún impacto notable en el tiempo o la calidad de respuesta.
• Rentabilidad – El coste por interacción con el cliente se ha reducido a una décima parte del gasto inicial.
• Tiempo de comercialización – El tiempo de desarrollo e implementación de nuevos agentes se ha reducido de meses a semanas.

Conclusión

En esta publicación, exploramos cómo Planview pudo desarrollar un asistente de IA generativa para abordar procesos complejos de gestión del trabajo mediante la adopción de las siguientes estrategias:

• Desarrollo modular – Planview creó una arquitectura multiagente con un orquestador centralizado. La solución permite un manejo eficiente de tareas y escalabilidad del sistema, al tiempo que permite que diferentes equipos de productos desarrollen e implementen rápidamente nuevas habilidades de IA a través de agentes especializados.
• Marco de evaluación – Planview implementó un sólido proceso de evaluación en múltiples niveles, lo cual fue crucial para mantener y mejorar el desempeño.
• Integración de amazon Bedrock – Planview utilizó amazon Bedrock para innovar más rápido con una amplia variedad de modelos y acceso a varios FM, lo que permitió una selección flexible de modelos basada en requisitos de tareas específicas.

Planview está migrando a amazon Bedrock Agents, que permite la integración de agentes autónomos inteligentes dentro de su ecosistema de aplicaciones. Los agentes de amazon Bedrock automatizan procesos orquestando interacciones entre modelos básicos, fuentes de datos, aplicaciones y conversaciones de usuarios.

Como próximos pasos, puede explorar Función de asistente de IA de Planview creado en amazon Bedrock y manténgase actualizado con las nuevas características y lanzamientos de amazon Bedrock para avanzar en su viaje de IA en AWS.

Acerca de los autores

Sunil Ramachandra es un arquitecto de soluciones senior que permite a los proveedores de software independientes (ISV) de hipercrecimiento innovar y acelerar en AWS. Se asocia con clientes para crear arquitecturas de nube altamente escalables y resistentes. Cuando no colabora con los clientes, Sunil disfruta pasar tiempo con la familia, correr, meditar y mirar películas en Prime Video.

Benito Agustín es un líder intelectual en IA generativa y aprendizaje automático y se desempeña como especialista senior en AWS. Asesora a los CxO de los clientes sobre la estrategia de IA, para construir visiones a largo plazo y al mismo tiempo ofrecer un retorno de la inversión inmediato. Como vicepresidente de aprendizaje automático, Benedict pasó la última década creando siete productos SaaS basados ​​en IA, que ahora utilizan empresas Fortune 100, lo que genera un impacto comercial significativo. Su trabajo le ha valido 5 patentes.

Lee Rehwinkel es un científico de datos principal en Planview con 20 años de experiencia en la incorporación de IA y aprendizaje automático en software empresarial. Tiene títulos avanzados de la Universidad Carnegie Mellon y de la Universidad de Columbia. Lee encabeza los esfuerzos de I+D de Planview sobre capacidades de IA dentro de Planview Copilot. Fuera del trabajo, le gusta remar en el lago Lady Bird de Austin.