Regline las revisiones de las propuestas de subvención utilizando Amazon Bedrock

Las organizaciones gubernamentales y sin fines de lucro que evalúan las propuestas de subvenciones enfrentan un desafío significativo: revisar cientos de presentaciones detalladas, cada una con méritos únicos, para identificar las iniciativas más prometedoras. Este arduo proceso que requiere mucho tiempo suele ser el primer paso en el proceso de gestión de subvenciones, que es fundamental para impulsar un impacto social significativo.

El equipo de Responsabilidad e Impacto de AWS (SRI) reconoció la oportunidad de aumentar esta función utilizando la IA generativa. El equipo desarrolló una solución innovadora para optimizar la revisión y la evaluación de la propuesta de subvención mediante el uso de las capacidades de procesamiento del lenguaje natural (PNL) de amazon Bedrock. amazon Bedrock es un servicio totalmente administrado que le permite utilizar su elección de modelos básicos de alto rendimiento (FMS) de compañías de IA líderes como AI21 Labs, Anthrope, Cohere, Meta, Mistral ai, Stability ai y amazon a través de una sola API, a lo largo de Con un amplio conjunto de capacidades que necesita para crear aplicaciones de IA generativas con seguridad, privacidad y IA responsable.

Históricamente, un comité de revisión revisó manualmente las solicitudes de Iniciativa de Equidad de Salud de AWS. Tomó 14 o más días cada ciclo para que todas las aplicaciones se revisen por completo. En promedio, el programa recibió 90 solicitudes por ciclo. El ciclo de aplicación de la Iniciativa de Equidad de Salud AWS de junio de 2024 recibió 139 solicitudes, la afluencia más grande del programa hasta la fecha. El comité de revisión se hubiera estimado a los 21 días de procesar manualmente estas muchas solicitudes. El enfoque centrado en la base de amazon redujo el tiempo de revisión a 2 días (una reducción del 90%).

El objetivo era mejorar la eficiencia y la consistencia del proceso de revisión, capacitar a los clientes para desarrollar soluciones impactantes más rápido. Al combinar las capacidades NLP avanzadas de amazon Bedrock con una ingeniería rápida reflexiva, el equipo creó una solución dinámica, basada en datos y equitativa que demuestra el potencial transformador de los modelos de idiomas grandes (LLM) en el dominio de impacto social.

En esta publicación, exploramos los detalles de implementación técnica y los aprendizajes clave de la solución de revisión de la propuesta de subvención de amazon Bedrock del equipo, proporcionando un plan para las organizaciones que buscan optimizar sus procesos de gestión de subvenciones.

Construir un indicador efectivo para revisar las propuestas de subvenciones utilizando ai generativa

La ingeniería rápida es el arte de elaborar indicaciones efectivas para instruir y guiar a los modelos de IA generativos, como LLMS, para producir los resultados deseados. Al diseñar cuidadosamente las indicaciones, los profesionales pueden desbloquear todo el potencial de los sistemas de IA generativos y aplicarlos a una amplia gama de escenarios del mundo real.

Al construir un aviso para que nuestro modelo de roca madre de amazon revise las propuestas de subvenciones, utilizamos múltiples técnicas de ingeniería rápida para asegurarnos de que las respuestas del modelo fueran adaptadas, estructuradas y procesables. Esto incluyó asignar al modelo una persona específica, proporcionar instrucciones paso a paso y especificar el formato de salida deseado.

Primero, asignamos al modelo la persona de un experto en salud pública, con un enfoque en mejorar los resultados de la salud para las poblaciones desatendidas. Este contexto ayuda a preparar el modelo para evaluar la propuesta desde la perspectiva de un experto en la materia (PYME) que piensa integralmente sobre los desafíos globales y el impacto a nivel comunitario. Al definir claramente la persona, nos aseguramos de que las respuestas del modelo estén adaptadas a la lente de evaluación deseada.

Your task is to review a proposal document from the perspective of a given persona, and assess it based on dimensions defined in a rubric. Here are the steps to follow:

1. Review the provided proposal document: {PROPOSAL}

2. Adopt the perspective of the given persona: {PERSONA}

Se pueden asignar múltiples personajes contra la misma rúbrica para tener en cuenta varias perspectivas. Por ejemplo, cuando se asignó a la persona “experta en materia de salud pública”, el modelo proporcionó una gran visión sobre el potencial de impacto y la base de evidencia del proyecto. Cuando se asignó la persona “capitalista de riesgo”, el modelo proporcionó comentarios más sólidos sobre los hitos articulados y el plan de sostenibilidad de la organización para la financiación posterior. Del mismo modo, cuando se asignó al “ingeniero de desarrollo de software” de la persona, el modelo transmitió la experiencia de la materia sobre el uso propuesto de la tecnología AWS.

A continuación, desglosamos el proceso de revisión en un conjunto estructurado de instrucciones para que el modelo lo siga. Esto incluye revisar la propuesta, evaluarla a través de dimensiones específicas (potencial de impacto, innovación, viabilidad, sostenibilidad) y luego proporcionar un resumen y puntaje general. Esquema estas directivas paso a paso le da al modelo una guía clara sobre los elementos de tareas requeridos y ayuda a producir una evaluación integral y consistente.

3. Assess the proposal based on each dimension in the provided rubric: {RUBRIC}

For each dimension, follow this structure:

 
 Provide a brief summary (2-3 sentences) of your assessment of how well the proposal meets the criteria for this dimension from the perspective of the given persona. 
  Provide a score from 0 to 100 for this dimension. Start with a default score of 0 and increase it based on the information in the proposal. 
  Provide 2-3 specific recommendations for how the author could improve the proposal in this dimension. 


4. After assessing each dimension, provide an  section with:
 - An overall assessment summary (3-4 sentences) of the proposal's strengths and weaknesses across all dimensions from the persona's perspective
 - Any additional feedback beyond the rubric dimensions
 - Identification of any potential risks or biases in the proposal or your assessment

5. Finally, calculate the  by applying the weightings specified in the rubric to your scores for each dimension.

Finalmente, especificamos el formato de salida deseado como JSON, con distintas secciones para las evaluaciones dimensionales, el resumen general y la puntuación general. La prescripción de este formato de respuesta estructurada asegura que la producción del modelo pueda ser ingerida, almacenada y analizada por nuestro equipo de revisión de subvenciones, en lugar de entregarse en texto de forma libre. Este nivel de control sobre la salida ayuda a optimizar el uso posterior de las evaluaciones del modelo.

6. Return your assessment in JSON format with the following structure:

{{ "dimensions": ( {{ "name": "", "summary": "
", "score": , "recommendations": ( "", "", ... ) }}, ... ), "overall_summary": "","overall_score":  }}

Do not include any other commentary beyond following the specified structure. Focus solely on providing the assessment based on the given inputs.

Al combinar estas técnicas rápidas de ingeniería (asignación de rol, instrucciones paso a paso y formato de salida, pudimos elaborar un aviso que provoca evaluaciones de propuestas de subvención exhaustivas, objetivas y procesables de nuestro modelo de IA generativo. Este enfoque estructurado nos permite utilizar de manera efectiva las capacidades del modelo para respaldar nuestro proceso de revisión de subvenciones de manera escalable y eficiente.

Creación de una aplicación de revisión de propuestas dinámicas con IA racionalizada y generativa

Para demostrar y probar las capacidades de una solución de revisión de propuestas dinámicas, creamos una implementación de prototipo rápido utilizando Racionalizaramazon Bedrock y amazon Dynamodb. Es importante tener en cuenta que esta implementación no está destinada al uso de la producción, sino que sirve como una prueba de concepto y un punto de partida para un mayor desarrollo. La aplicación permite a los usuarios definir y guardar varias personas y rúbricas de evaluación, que luego se pueden aplicar dinámicamente al revisar los envíos de propuestas. Este enfoque permite una evaluación personalizada y relevante de cada propuesta, basada en los criterios especificados.

La arquitectura de la aplicación consta de varios componentes clave, que discutimos en esta sección.

El equipo usó DynamoDB, una base de datos NoSQL, para almacenar las personas, las rúbricas y las propuestas presentadas. Los datos almacenados en DynamoDB se enviaron a Strewlit, una interfaz de aplicación web. En Streamlit, el equipo agregó la persona y la rúbrica al aviso y envió el aviso a amazon Bedrock.

import boto3
import json

from api.personas import Persona
from api.rubrics import Rubric
from api.submissions import Submission

bedrock = boto3.client("bedrock-runtime", region_name="us-east-1")

def _construct_prompt(persona: Persona, rubric: Rubric, submission: Submission):
    rubric_dimensions = (
        f"{dimension('name')}|{dimension('description')}|{dimension('weight')}"
        for dimension in rubric.dimensions
    )

    # add the table headers the prompt is expecting to the front of the dimensions list
    rubric_dimensions(:0) = ("dimension_name|dimension_description|dimension_weight")
    rubric_string = "\n".join(rubric_dimensions)
    print(rubric_string)

    with open("prompt/prompt_template.txt", "r") as prompt:
        prompt = prompt.read()
        print(prompt)
        return prompt.format(
            PROPOSAL=submission.content,
            PERSONA=persona.description,
            RUBRIC=rubric_string,
        )

amazon Bedrock utilizó el soneto Claude 3 FM de Anthrope para evaluar las propuestas presentadas contra el aviso. Las indicaciones del modelo se generan dinámicamente en función de la personalidad y la rúbrica seleccionadas. amazon Bedrock enviaría los resultados de la evaluación a simplificar para la revisión del equipo.

def get_assessment(submission: Submission, persona: Persona, rubric: Rubric):
    prompt = _construct_prompt(persona, rubric, submission)

    body = json.dumps(
        {
            "anthropic_version": "",
            "max_tokens": 2000,
            "temperature": 0.5,
            "top_p": 1,
            "messages": ({"role": "user", "content": prompt}),
        }
    )
    response = bedrock.invoke_model(
        body=body, modelId="anthropic.claude-3-haiku-20240307-v1:0"
    )
    response_body = json.loads(response.get("body").read())
    return response_body.get("content")(0).get("text")

El siguiente diagrama ilustra el espectáculo de la figura anterior.

El flujo de trabajo consta de los siguientes pasos:

1. Los usuarios pueden crear y administrar personajes y rúbricas a través de la aplicación a simplénica. Estos se almacenan en la base de datos DynamoDB.
   
   
2. Cuando un usuario presenta una propuesta para su revisión, elige la personalidad y la rúbrica deseadas de las opciones disponibles.
   
3. La aplicación Streamlit genera un mensaje dinámico para el modelo de roca madre de amazon, incorporando los detalles de personalidad y rúbrica seleccionados.
4. El modelo de roca madre de amazon evalúa la propuesta basada en la solicitud dinámica y devuelve los resultados de la evaluación.
5. Los resultados de la evaluación se almacenan en la base de datos Dynamodb y se presentan al usuario a través de la aplicación de transmisión.
   

Impacto

Este prototipo rápido demuestra el potencial de un proceso de revisión de propuestas escalable y flexible, lo que permite a las organizaciones:

• Reducir el tiempo de procesamiento de la aplicación hasta hasta un 90%
• Alegar el proceso de revisión automatizando las tareas de evaluación
• Capturar datos estructurados sobre las propuestas y evaluaciones para un análisis posterior
• Incorporar diversas perspectivas al permitir el uso de múltiples personajes y rúbricas

A lo largo de la implementación, el equipo de AWS SRI se centró en crear una experiencia interactiva y fácil de usar. Al trabajar práctico con la aplicación aerodinámica y observar el impacto de la selección dinámica de personalidad y rúbrica, los usuarios pueden obtener experiencia práctica en la creación de aplicaciones con IA que aborden los desafíos del mundo real.

Consideraciones para una implementación de grado de producción

Aunque el prototipo rápido demuestra el potencial de esta solución, una implementación de grado de producción requiere consideraciones adicionales y el uso de servicios AWS adicionales. Algunas consideraciones clave incluyen:

• Escalabilidad y rendimiento – Para manejar grandes volúmenes de propuestas y usuarios concurrentes, una arquitectura sin servidor que usa AWS Lambda, amazon API Gateway, DynamodB y amazon Simple Storage Service (amazon S3) proporcionaría una mejor escalabilidad, disponibilidad y confiabilidad.
• Seguridad y cumplimiento – Dependiendo de la sensibilidad de los datos involucrados, son necesarias medidas de seguridad adicionales, como cifrado, autenticación y control de acceso, y auditoría. Servicios como AWS Key Management Service (KMS), amazon Cognito, AWS Identity and Access Management (IAM) y AWS CloudTrail pueden ayudar a cumplir con estos requisitos.
• Monitoreo y registro -La implementación de mecanismos de monitoreo y registro robustos utilizando servicios como amazon CloudWatch y AWS x-Ray permite el seguimiento del rendimiento, identificar problemas y mantener el cumplimiento.
• Pruebas e implementación automatizadas – Implementación de tuberías automatizadas de pruebas e implementación utilizando servicios como AWS Codepipeline, AWS CodeBuild y AWS CodeDeDeploy ayudan a proporcionar implementaciones consistentes y confiables, reduciendo el riesgo de errores y tiempo de inactividad.
• Optimización de costos – Implementar estrategias de optimización de costos, como el uso de los presupuestos de exploradores de costos de AWS y los presupuestos de AWS, puede ayudar a gestionar los costos y ayudar a mantener la utilización eficiente de los recursos.
• Consideraciones de IA responsables – Implementar salvaguardas, como las barandillas de roca madre de amazon, y los mecanismos de monitoreo pueden ayudar a hacer cumplir el uso responsable y ético del modelo ai generativo, incluida la detección de sesgos, la moderación de contenido y la supervisión humana. Aunque el formulario de solicitud de la Iniciativa de Equidad de Salud AWS recopiló la información del cliente, como el nombre, la dirección de correo electrónico y el país de operación, esto se omitió sistemáticamente cuando se envió a la herramienta habilitada para el lecho de roca de amazon para evitar el sesgo en el modelo y proteger los datos del cliente.

Al utilizar el conjunto completo de servicios de AWS y seguir las mejores prácticas para la seguridad, la escalabilidad y la IA responsable, las organizaciones pueden construir una solución preparada para la producción que cumpla con sus requisitos específicos al tiempo que alcanza el cumplimiento, la confiabilidad y la rentabilidad.

Conclusión

Bedrock de amazon, acoplada con ingeniería rápida efectiva, la AWS SRI habilita para revisar las propuestas de subvenciones y entregar premios a los clientes en días en lugar de semanas. Las habilidades desarrolladas en este proyecto, como la creación de aplicaciones web con simplificación, que se integran con bases de datos NoSQL como DynamodB y personalizan las indicaciones generativas de IA, son altamente transferibles y aplicables a una amplia gama de industrias y casos de uso.

Sobre los autores

Vigil de Carolyn es un protagonista global de la responsabilidad social de AWS y el impacto de la participación del cliente. Ella impulsa iniciativas estratégicas que aprovechan la computación en la nube para el impacto social en todo el mundo. Una defensora apasionada de las comunidades desatendidas, ha cofundado dos organizaciones sin fines de lucro que atienden a personas con discapacidades del desarrollo y sus familias. Carolyn disfruta de aventuras de montaña con su familia y amigos en su tiempo libre.

Lauren Hollis es gerente de programa para la responsabilidad y el impacto social de AWS. Aprovecha sus antecedentes en economía, investigación de atención médica y tecnología para apoyar a las organizaciones impulsadas por la misión que ofrecen un impacto social utilizando la tecnología de la nube de AWS. En su tiempo libre, a Lauren le gusta leer un piano y el violonchelo.

Ben West es un constructor práctico con experiencia en aprendizaje automático, análisis de big data y desarrollo de software completo. Como gerente de programas técnicos en el equipo de responsabilidad social e impacto de AWS, Ben aprovecha una amplia variedad de tecnologías de nubes, borde e Internet de las cosas (IoT) para desarrollar prototipos innovadores y ayudar a las organizaciones del sector público a tener un impacto positivo en el mundo. Ben es un veterano del ejército que disfruta cocinar y estar al aire libre.

Mike Haggerty es ingeniero de desarrollo de sistemas senior (Sr. SYSDE) en amazon Web Services (AWS), que trabaja dentro del equipo de ritmo. En este rol, contribuye a las iniciativas de computación Edge de AWS como parte del equipo de la organización (prototipos e ingeniería de prototipos) de la organización del sector público mundial (WWPS). Más allá de sus deberes profesionales, Mike es un voluntario de terapia de mascotas que, junto con su ñoquis de perros, brinda servicios de apoyo en las instalaciones comunitarias locales.