Esta publicación está coescrita con Sherwin Chu de Alida.
alida ayuda a las marcas más importantes del mundo a crear comunidades de investigación altamente comprometidas para recopilar comentarios que impulsen mejores experiencias de los clientes y la innovación de productos.
Los clientes de Alida reciben decenas de miles de respuestas comprometidas para una sola encuesta, por lo que el equipo de Alida optó por aprovechar el aprendizaje automático (ML) para atender a sus clientes a escala. Sin embargo, al emplear el uso de modelos tradicionales de procesamiento del lenguaje natural (PLN), descubrieron que estas soluciones tenían dificultades para comprender completamente los comentarios matizados que se encuentran en las respuestas abiertas de las encuestas. Los modelos a menudo solo capturaban temas y sentimientos superficiales, y pasaban por alto un contexto crucial que permitiría obtener conocimientos más precisos y significativos.
En esta publicación, aprendemos cómo el modelo Claude Instant de Anthropic en Amazon Bedrock permitió al equipo de Alida crear rápidamente un servicio escalable que determina con mayor precisión el tema y el sentimiento dentro de respuestas de encuestas complejas. El nuevo servicio logró una mejora de 4 a 6 veces en la afirmación de temas al agruparse estrechamente en varias docenas de temas clave frente a cientos de palabras clave ruidosas de PNL.
Amazon Bedrock es un servicio totalmente administrado que ofrece una selección de modelos básicos (FM) de alto rendimiento de empresas líderes en IA, como AI21 Labs, Anthropic, Cohere, Meta, Stability ai y Amazon a través de una única API, junto con una amplia conjunto de capacidades que necesita para crear aplicaciones de IA generativa con seguridad, privacidad e IA responsable.
El uso de Amazon Bedrock permitió a Alida llevar su servicio al mercado más rápido que si hubieran utilizado otros proveedores o vendedores de aprendizaje automático (ML).
El reto
Las encuestas con una combinación de preguntas abiertas y de opción múltiple permiten a los investigadores de mercado obtener una visión más holística al capturar puntos de datos tanto cuantitativos como cualitativos.
Las preguntas de opción múltiple son fáciles de analizar a escala, pero carecen de matices y profundidad. Establecer opciones de respuesta también puede llevar a sesgar o preparar las respuestas de los participantes.
Las preguntas abiertas de la encuesta permiten a los encuestados brindar contexto y comentarios inesperados. Estos puntos de datos cualitativos profundizan la comprensión de los investigadores más allá de lo que las preguntas de opción múltiple pueden capturar por sí solas. El desafío con el texto de formato libre es que puede conducir a respuestas complejas y matizadas que son difíciles de entender completamente para la PNL tradicional. Por ejemplo:
“Recientemente experimenté algunas de las dificultades de la vida y me sentí realmente deprimido y decepcionado. Cuando entré, el personal siempre fue muy amable conmigo. ¡Me ha ayudado a superar momentos difíciles!”
Los métodos tradicionales de PNL identificarán temas como “dificultades”, “decepción”, “personal amable” y “superar tiempos difíciles”. No puede distinguir entre las experiencias de vida negativas generales actuales del respondedor y las experiencias positivas específicas de la tienda.
La solución existente de Alida procesa automáticamente grandes volúmenes de respuestas abiertas, pero querían que sus clientes obtuvieran una mejor comprensión contextual y una inferencia temática de alto nivel.
Roca Amazónica
Antes de la introducción de los LLM, el camino a seguir para Alida para mejorar su solución de modelo único existente era trabajar en estrecha colaboración con expertos de la industria y desarrollar, capacitar y perfeccionar nuevos modelos específicamente para cada uno de los sectores verticales en los que operaban los clientes de Alida. Esta fue una tarea que requirió mucho tiempo y costos.
Uno de los avances que hace que los LLM sean tan poderosos es el uso de mecanismos de atención. Los LLM utilizan mecanismos de autoatención que analizan las relaciones entre las palabras en un mensaje determinado. Esto permite a los LLM manejar mejor el tema y el sentimiento en el ejemplo anterior y presenta una nueva tecnología emocionante que se puede utilizar para abordar el desafío.
Con Amazon Bedrock, los equipos y las personas pueden comenzar a usar modelos básicos de inmediato sin tener que preocuparse por aprovisionar infraestructura o instalar y configurar marcos de aprendizaje automático. Puede comenzar con los siguientes pasos:
- Verifique que su usuario o rol tenga permiso para crear o modificar recursos de Amazon Bedrock. Para obtener más información, consulte Ejemplos de políticas basadas en identidad para Amazon Bedrock.
- Inicie sesión en la consola de Amazon Bedrock.
- Sobre el Acceso al modelo página, revise el CLUF y habilite los FM que desee en su cuenta.
- Comience a interactuar con los FM a través de los siguientes métodos:
El equipo de liderazgo ejecutivo de Alida estaba ansioso por ser uno de los primeros en adoptar Amazon Bedrock porque reconocieron su capacidad para ayudar a sus equipos a llevar al mercado nuevas soluciones generativas impulsadas por IA más rápidamente.
Vincy William, director senior de ingeniería de Alida que dirige el equipo responsable de crear el servicio de análisis de sentimientos y temas, dice:
“Los LLM brindan un gran salto en el análisis cualitativo y hacen cosas (a una escala que es) humanamente imposible de hacer. Amazon Bedrock cambia las reglas del juego, nos permite aprovechar los LLM sin la complejidad”.
El equipo de ingeniería experimentó la facilidad inmediata de comenzar a utilizar Amazon Bedrock. Podrían seleccionar entre varios modelos básicos y comenzar a centrarse en la ingeniería rápida en lugar de dedicar tiempo a dimensionar, aprovisionar, implementar y configurar recursos para ejecutar los modelos.
Descripción general de la solución
Sherwin Chu, arquitecto jefe de Alida, compartió el enfoque de arquitectura de microservicios de Alida. Alida creó la clasificación de temas y sentimientos como un servicio con el análisis de respuestas a encuestas como su primera aplicación. Con este enfoque, se abstraen los desafíos comunes de implementación de LLM, como la complejidad de administrar solicitudes, límites de tokens, restricciones de solicitudes y reintentos, y la solución permite que las aplicaciones consumidoras tengan una API simple y estable con la que trabajar. Este enfoque de capa de abstracción también permite a los propietarios del servicio mejorar continuamente los detalles de implementación interna y minimizar los cambios que interrumpen la API. Finalmente, el enfoque de servicio permite que un único punto implemente cualquier política de seguridad y gobernanza de datos que evolucione a medida que la gobernanza de la IA madure en la organización.
El siguiente diagrama ilustra la arquitectura y el flujo de la solución.
Alida evaluó los LLM de varios proveedores y descubrió que Claude Instant de Anthropic era el equilibrio adecuado entre costo y rendimiento. Al trabajar en estrecha colaboración con el equipo de ingeniería rápida, Chu abogó por implementar una estrategia de encadenamiento rápido en lugar de un enfoque rápido monolítico único.
El encadenamiento rápido le permite hacer lo siguiente:
- Divida su objetivo en pasos lógicos más pequeños
- Cree un mensaje para cada paso
- Proporcionar las indicaciones secuencialmente al LLM.
Esto crea puntos de inspección adicionales, lo que tiene los siguientes beneficios:
- Es sencillo evaluar sistemáticamente los cambios que realiza en el mensaje de entrada
- Puede implementar un seguimiento y supervisión más detallados de la precisión y el rendimiento en cada paso.
Las consideraciones clave con esta estrategia incluyen el aumento en la cantidad de solicitudes realizadas al LLM y el aumento resultante en el tiempo total que lleva completar el objetivo. Para el caso de uso de Alida, eligieron agrupar una colección de respuestas abiertas en un solo mensaje para el LLM, es lo que eligieron para compensar estos efectos.
PNL frente a LLM
La solución de PNL existente de Alida se basa en algoritmos de agrupamiento y clasificación estadística para analizar respuestas abiertas a encuestas. Cuando se aplicó a una muestra de comentarios para la aplicación móvil de una cafetería, extrajo temas basados en patrones de palabras, pero carecía de una verdadera comprensión. La siguiente tabla incluye algunos ejemplos que comparan las respuestas de PNL con las de LLM.
| Respuesta a la encuesta | PNL tradicional existente | Amazon Bedrock con Claude Instant | |
| Tema | Tema | Sentimiento | |
| Casi exclusivamente pido mis bebidas a través de la aplicación por conveniencia y es menos vergonzoso pedir bebidas súper personalizadas jajaja. ¡Y me encanta ganar recompensas! | ('aplicación bc conveniencia', 'bebida', 'recompensa') | Comodidad de realizar pedidos móviles | positivo |
| La aplicación funciona bastante bien, la única queja que tengo es que no puedo agregar la cantidad de dinero que quiero a mi tarjeta de regalo. ¿Por qué específicamente tiene que costar $10 para recargar? | ('queja', 'aplicación', 'tarjeta de regalo', 'número dinero') | Velocidad de cumplimiento de pedidos móviles | negativo |
Los resultados del ejemplo muestran cómo la solución existente pudo extraer palabras clave relevantes, pero no pudo lograr una asignación de grupo de temas más generalizada.
Por el contrario, al utilizar Amazon Bedrock y Anthropic Claude Instant, el LLM con capacitación en contexto puede asignar las respuestas a temas predefinidos y asignar opiniones.
Además de ofrecer mejores respuestas a los clientes de Alida, para este caso de uso particular, buscar una solución utilizando un LLM en lugar de los métodos tradicionales de PNL ahorró una gran cantidad de tiempo y esfuerzo en la capacitación y el mantenimiento de un modelo adecuado. La siguiente tabla compara el entrenamiento de un modelo de PNL tradicional con el entrenamiento en contexto de un LLM.
| . | Requisito de datos | Proceso de entrenamiento | Adaptabilidad del modelo |
| Entrenando un modelo tradicional de PNL | Miles de ejemplos etiquetados por humanos |
Combinación de ingeniería de funciones manual y automatizada. Ciclos iterativos de entrenamiento y evaluación. |
Tiempo de respuesta más lento debido a la necesidad de volver a entrenar el modelo |
| Formación en contexto de LLM | Varios ejemplos |
Entrenado sobre la marcha dentro del aviso. Limitado por el tamaño de la ventana de contexto. |
Iteraciones más rápidas modificando el mensaje. Retención limitada debido al tamaño de la ventana de contexto. |
Conclusión
El uso que hace Alida del modelo Claude Instant de Anthropic en Amazon Bedrock demuestra las poderosas capacidades de los LLM para analizar respuestas abiertas a encuestas. Alida pudo crear un servicio superior que era entre 4 y 6 veces más preciso en el análisis de temas en comparación con su servicio basado en PNL. Además, el uso de ingeniería de avisos en contexto para los LLM redujo significativamente el tiempo de desarrollo, porque no necesitaban seleccionar miles de puntos de datos etiquetados por humanos para entrenar un modelo de PNL tradicional. En última instancia, esto permite a Alida brindarles a sus clientes información más valiosa antes.
Si está listo para comenzar a crear su propia innovación de modelo básico con Amazon Bedrock, consulte este enlace para configurar Amazon Bedrock. Si está interesado en leer sobre otras aplicaciones interesantes de Amazon Bedrock, consulte la sección específica de Amazon Bedrock del blog de aprendizaje automático de AWS.
Sobre los autores
Kinman Lam es un arquitecto de soluciones ISV/DNB para AWS. Tiene 17 años de experiencia en la creación y el crecimiento de empresas de tecnología en el espacio de teléfonos inteligentes, geolocalización, IoT y software de código abierto. En AWS, utiliza su experiencia para ayudar a las empresas a construir una infraestructura sólida para satisfacer las crecientes demandas de las empresas en crecimiento, lanzar nuevos productos y servicios, ingresar a nuevos mercados y deleitar a sus clientes.
Sherwin Chu es el arquitecto jefe de Alida y ayuda a los equipos de productos con la dirección arquitectónica, la elección de tecnología y la resolución de problemas complejos. Es un ingeniero de software, arquitecto y líder experimentado con más de 20 años en el espacio SaaS para diversas industrias. Ha creado y administrado numerosos sistemas B2B y B2C en AWS y GCP.
Marcos Roy es un arquitecto principal de aprendizaje automático para AWS y ayuda a los clientes a diseñar y construir soluciones de IA/ML e IA generativa. Su enfoque desde principios de 2023 ha sido liderar los esfuerzos de arquitectura de soluciones para el lanzamiento de Amazon Bedrock, la oferta insignia de IA generativa de AWS para constructores. El trabajo de Mark cubre una amplia gama de casos de uso, con un interés principal en la IA generativa, los agentes y la ampliación del aprendizaje automático en toda la empresa. Ha ayudado a empresas de seguros, servicios financieros, medios y entretenimiento, atención médica, servicios públicos y manufactura. Antes de unirse a AWS, Mark fue arquitecto, desarrollador y líder tecnológico durante más de 25 años, incluidos 19 años en servicios financieros. Mark posee seis certificaciones de AWS, incluida la certificación de especialidad de aprendizaje automático.
