NEWSLETTER
Esta publicación está coescrita con Gordon Campbell, Charles Guan y Hendra Suryanto de RDC.
La misión de Rich Data Co (RDC) es ampliar el acceso al crédito sostenible a nivel mundial. Su solución de software como servicio (SaaS) permite a los principales bancos y prestamistas con profundas ideas de clientes y capacidades de toma de decisiones basadas en ai.
Tomar decisiones de crédito utilizando ai puede ser un desafío, requerir que los equipos de ciencia de datos y cartera sinteten la información compleja de la materia y colaboren productivamente. Para resolver este desafío, RDC utilizó una IA generativa, lo que permite a los equipos usar su solución de manera más efectiva:
- Asistente de ciencias de datos – Diseñado para equipos de ciencia de datos, este agente ayuda a los equipos a desarrollar, construir e implementar modelos de IA dentro de un entorno regulado. Su objetivo es impulsar la eficiencia del equipo respondiendo consultas técnicas complejas en el ciclo de vida de las operaciones de aprendizaje automático (MLOPS), que se basa en una base de conocimiento integral que incluye documentación del medio ambiente, experiencia en ciencia de datos y datos de datos y generación de código de Python.
- Asistente de cartera – Diseñado para gerentes de cartera y analistas, este agente facilita las consultas de lenguaje natural sobre las carteras de préstamos. Proporciona información crítica sobre el rendimiento, la exposición a riesgos y la alineación de la política de crédito, lo que permite decisiones comerciales informadas sin requerir habilidades de análisis en profundidad. El asistente es experto en preguntas de alto nivel (como identificar segmentos de alto riesgo o oportunidades de crecimiento potenciales) y consultas únicas, lo que permite diversificarse la cartera.
En esta publicación, discutimos cómo RDC utiliza IA generativa en amazon Bedrock para construir estos asistentes y acelerar su misión general de democratizar el acceso al crédito sostenible.
Descripción general de la solución: construcción de una solución de IA generativa de múltiples agentes
Comenzamos con un conjunto de evaluación cuidadosamente elaborado de más de 200 indicaciones, anticipando preguntas comunes del usuario. Nuestro enfoque inicial combinó la ingeniería rápida y la generación aumentada de recuperación tradicional (RAG). Sin embargo, encontramos un desafío: la precisión cayó por debajo del 90%, especialmente para preguntas más complejas.
Para superar el desafío, adoptamos un enfoque agente, descomponiendo el problema en casos de uso especializados. Esta estrategia nos equipó para alinear cada tarea con el modelo de base más adecuado (FM) y las herramientas. Nuestro marco de múltiples agentes se orquesta usando <a target="_blank" href="https://langchain-ai.github.io/langgraph/” target=”_blank” rel=”noopener”>Langgraphy consistía en:
- Orquestador – El orquestador es responsable de enrutar las preguntas del usuario al agente apropiado. En este ejemplo, comenzamos con la ciencia de datos o el agente de cartera. Sin embargo, imaginamos muchos más agentes en el futuro. El orquestador también puede usar el contexto del usuario, como el rol del usuario, para determinar el enrutamiento al agente apropiado.
- Agente – El agente está diseñado para una tarea especializada. Está equipado con el FM apropiado para la tarea y las herramientas necesarias para realizar acciones y acceder al conocimiento. También puede manejar conversaciones multiturno y orquestar múltiples llamadas al FM para alcanzar una solución.
- Herramientas – Las herramientas extienden las capacidades de agente más allá de la FM. Proporcionan acceso a datos y API externos o habilitan acciones y cálculo específicos. Para utilizar eficientemente la ventana de contexto del modelo, construimos un selector de herramientas que recupera solo las herramientas relevantes basadas en la información en el estado del agente. Esto ayuda a simplificar la depuración en caso de errores, lo que hace que el agente sea más efectivo y rentable.
Este enfoque nos brinda la herramienta adecuada para el trabajo adecuado. Mejora nuestra capacidad de manejar consultas complejas de manera eficiente y precisa al tiempo que proporciona flexibilidad para futuras mejoras y agentes.
La siguiente imagen es un diagrama de arquitectura de alto nivel de la solución.
Agente de ciencia de datos: trapo y generación de código
Para impulsar la productividad de los equipos de ciencia de datos, nos centramos en la rápida comprensión del conocimiento avanzado, incluidos los modelos específicos de la industria de una base de conocimiento curada. Aquí, RDC proporciona un entorno de desarrollo integrado (IDE) para la codificación de pitón, que atiende a varios roles de equipo. Un rol es el validador del modelo, que evalúa rigurosamente si un modelo se alinea con las políticas bancarias o de prestamistas. Para apoyar el proceso de evaluación, diseñamos un agente con dos herramientas:
- Herramienta de retriever de contenido – amazon Bedrock Bases Fimpe nuestra recuperación de contenido inteligente a través de una implementación de trapo simplificada. El servicio convierte automáticamente documentos de texto en su representación vectorial utilizando amazon Titan Text Incrustes y los almacena en amazon OpenSearch Servidor. Debido a que el conocimiento es vasto, realiza fallas semánticas, asegurándose de que el conocimiento esté organizado por el tema y pueda encajar dentro de la ventana de contexto de la FM. Cuando los usuarios interactúan con el agente, las bases de conocimiento de amazon Bedrock usando OpenSearch Servidor proporciona una búsqueda semántica rápida y en memoria, lo que permite al agente recuperar los fragmentos de conocimiento más relevantes para respuestas relevantes y contextuales a los usuarios.
- Herramienta de generador de códigos – Con la generación de código, seleccionamos el modelo Claude de Anthrope en amazon Bedrock debido a su capacidad inherente para comprender y generar código. Esta herramienta se basa en responder consultas relacionadas con la ciencia de datos y puede generar código Python para una implementación rápida. También es experto en solucionar problemas de codificación.
Agente de cartera: texto a SQL y autocorrección
Para aumentar la productividad de los equipos de cartera de crédito, nos centramos en dos áreas clave. Para los gerentes de cartera, priorizamos las ideas comerciales de alto nivel. Para los analistas, habilitamos la exploración de datos de profundidad. Este enfoque potenció tanto los roles con una comprensión rápida como con ideas procesables, racionalizando los procesos de toma de decisiones entre los equipos.
Nuestra solución requirió la comprensión del lenguaje natural de los datos de cartera estructurados almacenados en amazon Aurora. Esto nos llevó a basar nuestra solución en un modelo de texto a SQL para cerrar eficientemente la brecha entre el lenguaje natural y el SQL.
Para reducir los errores y abordar consultas complejas más allá de las capacidades del modelo, desarrollamos tres herramientas utilizando el modelo Claude de Anthrope en amazon Bedrock para autocorrección:
- Verifique la herramienta de consulta – Verifica y corrige consultas SQL, abordando problemas comunes, como desajustes de tipo de datos o uso de funciones incorrectas
- Verifique la herramienta de resultados – Valida los resultados de la consulta, proporcionando relevancia y la provisión de requisitos o la aclaración del usuario cuando sea necesario
- Vuelva a intentar la herramienta de usuario – Involucra a los usuarios para obtener información adicional cuando las consultas son demasiado amplias o carecen de detalles, guiando la interacción en función de la información de la base de datos y la entrada del usuario
Estas herramientas funcionan en un sistema de agente, permitiendo interacciones precisas de la base de datos y resultados de consulta mejorados a través del refinamiento iterativo y la participación del usuario.
Para mejorar la precisión, probamos el modelo ajustado, capacitando el modelo en consultas y contexto comunes (como esquemas de bases de datos y sus definiciones). Este enfoque reduce los costos de inferencia y mejora los tiempos de respuesta en comparación con la solicitud en cada llamada. Usando amazon Sagemaker JumpStart, ajustamos el modelo de Llama de Meta Meta proporcionando un conjunto de indicaciones anticipadas, respuestas previstas y contexto asociado. amazon Sagemaker JumpStart ofrece una alternativa rentable a los modelos de terceros, proporcionando una vía viable para futuras aplicaciones. Sin embargo, no terminamos desplegando el modelo ajustado porque observamos experimentalmente que la provisión con el modelo Claude de Anthrope proporcionó una mejor generalización, especialmente para preguntas complejas. Para reducir la sobrecarga operativa, también evaluaremos la recuperación de datos estructurados en las bases de conocimiento de amazon Bedrock.
Conclusión y próximos pasos con RDC
Para acelerar el desarrollo, RDC colaboró con las nuevas empresas de AWS y el Centro de Innovación Generativa de ai AWS. A través de un enfoque iterativo, RDC mejoró rápidamente sus capacidades generativas de IA, implementando la versión inicial para la producción en solo 3 meses. La solución cumplió con éxito los estrictos estándares de seguridad requeridos en entornos bancarios regulados, proporcionando innovación y cumplimiento.
“La integración de la IA generativa en nuestra solución marca un momento crucial en nuestra misión de revolucionar la toma de decisiones de crédito. Al empoderar tanto a los científicos de datos como a los gerentes de cartera con asistentes de IA, no solo estamos mejorando la eficiencia, sino que estamos transformando cómo las instituciones financieras abordan los préstamos ”.
–Gordon Campbell, cofundador y director de clientes en RDC
RDC prevé que la IA generativa juegue un papel importante en el impulso de la productividad de la industria bancaria y crediticia. Al utilizar esta tecnología, RDC puede proporcionar información clave a los clientes, mejorar la adopción de la solución, acelerar el ciclo de vida del modelo y reducir la carga de atención al cliente. Mirando hacia el futuro, RDC planea refinar y ampliar aún más sus capacidades de IA, explorando nuevos casos de uso e integraciones a medida que la industria evoluciona.
Para obtener más información sobre cómo trabajar con RDC y AWS y comprender cómo estamos apoyando a los clientes bancarios de todo el mundo para usar la IA en las decisiones de crédito, comuníquese con su gerente de cuenta de AWS o visite Rich Data Co.
Para obtener más información sobre la IA generativa en AWS, consulte los siguientes recursos:
Sobre los autores
Daniel Wirjo es un arquitecto de soluciones en AWS, centrado en las startups fintech y SaaS. Como antiguo CTO de inicio, le gusta colaborar con los fundadores y líderes de ingeniería para impulsar el crecimiento y la innovación en AWS. Fuera del trabajo, Daniel disfruta caminar con un café en la mano, apreciar la naturaleza y aprender nuevas ideas.
Xuefeng liu Lidera un equipo científico en el Centro de Innovación ai ai AWS en las regiones de Asia Pacífico. Su equipo se asocia con clientes de AWS en proyectos generativos de IA, con el objetivo de acelerar la adopción de la IA generativa por parte de los clientes.
Fe abasnejad es un científico informático en el Centro de Innovación Generativa de IA en amazon Web Services (AWS) que trabaja en IA generativos y sistemas complejos de agentes múltiples.
Gordon Campbell Es el director de clientes y cofundador de RDC, donde aprovecha más de 30 años en el software empresarial para impulsar la plataforma de decisión de IA líder de RDC para prestamistas comerciales y comerciales. Con un historial comprobado en estrategia y desarrollo de productos en tres empresas de software globales, Gordon está comprometido con el éxito del cliente, la defensa y el avance de la inclusión financiera a través de datos e IA.
Charles Guan es el director de tecnología y cofundador de RDC. Con más de 20 años de experiencia en análisis de datos y aplicaciones empresariales, ha impulsado la innovación tecnológica en los sectores público y privado. En RDC, Charles lidera la investigación, el desarrollo y el avance del producto, colaborando con las universidades para aprovechar el análisis avanzado y la IA. Se dedica a promover la inclusión financiera y el impacto de la comunidad positivo en todo el mundo.
Hendra Suryanto Es el científico principal de datos en RDC con más de 20 años de experiencia en ciencia de datos, big data e inteligencia empresarial. Antes de unirse a RDC, se desempeñó como científico de datos principal en KPMG, asesorando a los clientes a nivel mundial. En RDC, Hendra diseña soluciones de análisis de extremo a extremo dentro de un marco ágil DevOps. Tiene un doctorado en inteligencia artificial y ha completado la investigación postdoctoral en aprendizaje automático.
