Procesar fórmulas y gráficos con Claude de Anthrope en Amazon Bedrock

Los trabajos de investigación y los documentos de ingeniería a menudo contienen una gran cantidad de información en forma de fórmulas matemáticas, gráficos y gráficos. Navegar por estos documentos no estructurados para encontrar información relevante puede ser una tarea tediosa y lenta, especialmente cuando se trata de grandes volúmenes de datos. Sin embargo, al usar Claude de Anthrope en amazon Bedrock, los investigadores e ingenieros ahora pueden automatizar la indexación y etiquetado de estos documentos técnicos. Esto permite el procesamiento eficiente del contenido, incluidas las fórmulas científicas y las visualizaciones de datos, y la población de las bases de conocimiento de la roca madre de amazon con metadatos apropiados.

amazon Bedrock es un servicio totalmente administrado que proporciona una API única para acceder y utilizar varios modelos de base de alto rendimiento (FMS) de las principales compañías de inteligencia artificial. Ofrece un amplio conjunto de capacidades para construir aplicaciones de IA generativas con seguridad, privacidad y prácticas responsables de IA. El soneto Claude 3 de Anthrope ofrece las mejores capacidades de visión en su clase en comparación con otros modelos líderes. Puede transcribir con precisión el texto de imágenes imperfectas: una capacidad central para la venta minorista, logística y los servicios financieros, donde la IA podría obtener más información de una imagen, gráfico o ilustración que solo por texto. El último de los modelos Claude de Anthrope demuestra una fuerte aptitud para comprender una amplia gama de formatos visuales, incluidas fotos, gráficos, gráficos y diagramas técnicos. Con el Claude de Anthrope, puede extraer más información de documentos, web UIS y documentación diversa del producto, generar metadatos del catálogo de imágenes y más.

En esta publicación, exploramos cómo puede usar estos modelos ai generativos multimodales para optimizar la gestión de documentos técnicos. Al extraer y estructurar la información clave de los materiales de origen, los modelos pueden crear una base de conocimiento de búsqueda que le permita ubicar rápidamente los datos, fórmulas y visualizaciones que necesita para apoyar su trabajo. Con el contenido del documento organizado en una base de conocimiento, los investigadores e ingenieros pueden utilizar las capacidades de búsqueda avanzadas para producir la información más relevante para sus necesidades específicas. Esto puede acelerar significativamente los flujos de trabajo de investigación y desarrollo, porque los profesionales ya no tienen que examinar manualmente grandes volúmenes de datos no estructurados para encontrar las referencias que necesitan.

Descripción general de la solución

Esta solución demuestra el potencial transformador de la IA generativa multimodal cuando se aplica a los desafíos que enfrentan las comunidades científicas y de ingeniería. Al automatizar la indexación y el etiquetado de documentos técnicos, estos modelos poderosos pueden permitir una gestión de conocimiento más eficiente y acelerar la innovación en una variedad de industrias.

Además de Claude de Anthrope en amazon Bedrock, la solución utiliza los siguientes servicios:

• amazon Sagemaker Jupyterlab -La aplicación SageMakerJupyterLab es un entorno de desarrollo interactivo basado en la web (IDE) para cuadernos, código y datos. La interfaz flexible y extensa de JupyterLab Application se puede utilizar para configurar y organizar flujos de trabajo de aprendizaje automático (ML). Usamos JupyterLab para ejecutar el código para procesar fórmulas y gráficos.
• amazon Simple Storage Service (amazon S3) – amazon S3 es un servicio de almacenamiento de objetos construido para almacenar y proteger cualquier cantidad de datos. Utilizamos amazon S3 para almacenar documentos de muestra que se utilizan en esta solución.
• AWS Lambda –AWS Lambda es un servicio de cómputo que ejecuta código en respuesta a desencadenantes, como cambios en los datos, cambios en el estado de la aplicación o las acciones del usuario. Debido a que servicios como amazon S3 y amazon Simple Notification Service (amazon SNS) pueden activar directamente una función Lambda, puede construir una variedad de sistemas de procesamiento de datos sin servidor en tiempo real.

El flujo de trabajo de la solución contiene los siguientes pasos:

1. Divida el PDF en páginas individuales y guárdelas como archivos PNG.
2. Con cada página:
   1. Extraiga el texto original.
   2. Renderiza las fórmulas en látex.
   3. Genere una descripción semántica de cada fórmula.
   4. Genere una explicación de cada fórmula.
   5. Genere una descripción semántica de cada gráfico.
   6. Genere una interpretación para cada gráfico.
   7. Genere metadatos para la página.
3. Genere metadatos para el documento completo.
4. Cargue el contenido y los metadatos a amazon S3.
5. Crea una base de conocimiento de amazon Bedrock.

El siguiente diagrama ilustra este flujo de trabajo.

Requisitos previos

1. Si eres nuevo en AWS, primero debes crear y configurar una cuenta de AWS.
2. Además, en su cuenta bajo amazon Bedrock, solicite acceso a anthropic.claude-3-5-sonnet-20241022-v2:0 Si aún no lo tienes.

Implementar la solución

Complete los siguientes pasos para configurar la solución:

1. Iniciar la plantilla de AWS CloudFormation eligiendo Pila de lanzamiento (Esto crea la pila en el us-east-1 Región de AWS):

1. Cuando se complete la implementación de la pila, abra el amazon Sagemaker ai
2. Elegir Cuadernos En el panel de navegación.
3. Localizar el cuaderno claude-scientific-docs-notebook y elegir Abrir jupyterlab.

1. En el cuaderno, navegue a notebooks/process_scientific_docs.ipynb.

1. Elegir conda_python3 Como el núcleo, luego elige Seleccionar.

1. Camine a través del código de muestra.

Explicación del código del cuaderno

En esta sección, atravesamos el código del cuaderno.

Cargar datos

Utilizamos documentos de investigación de ejemplo de arxiv Para demostrar la capacidad descrita aquí. ARXIV es un servicio de distribución gratuito y un archivo de acceso abierto para casi 2,4 millones de artículos académicos en los campos de física, matemáticas, informática, biología cuantitativa, finanzas cuantitativas, estadísticas, ingeniería eléctrica y ciencia de sistemas, y economía.

Descargamos los documentos y los almacenamos en una carpeta de muestras localmente. Los modelos de IA generativos multimodales funcionan bien con la extracción de texto de los archivos de imagen, por lo que comenzamos convirtiendo el PDF en una colección de imágenes, una para cada página.

Obtenga metadatos de fórmulas

Después de que los documentos de la imagen estén disponibles, puede usar el Claude de Anthrope para extraer fórmulas y metadatos con la API Converse Bedrock de amazon. Además, puede usar la API Converse Bedrock amazon para obtener una explicación de las fórmulas extraídas en lenguaje sencillo. Al combinar la fórmula y las capacidades de extracción de metadatos de Claude de Anthrope con las habilidades de conversación de la API Converse Bedrock amazon, puede crear una solución integral para procesar y comprender la información contenida en los documentos de imagen.

Comenzamos con el siguiente ejemplo de archivo PNG.

Usamos el siguiente mensaje de solicitud:

sample_prompt = """

Evaluate this page line by line. 
For each line, if it is a formula, convert this math expression to latex format. 
Next describe the formula in plain language Be sure to enclose Latex formulas in double dollar sign for example: $$  $$ Use markdown syntax to format your output
"""

file = "./samples/2003.10304/page_2.png"

display(Image(filename=file, width=600))
output, result = stream_conversation(message=sample_prompt, file_paths=(file))
response_text = result("content")
display(Markdown(response_text))
print(output)

Obtenemos la siguiente respuesta, que muestra la fórmula extraída convertida en formato de látex y descrita en lenguaje sencillo, encerrada en signos de doble dólar.

Obtenga metadatos de los gráficos

Otra capacidad útil de los modelos de IA generativos multimodales es la capacidad de interpretar gráficos y generar resúmenes y metadatos. El siguiente es un ejemplo de cómo puede obtener metadatos de los gráficos y gráficos utilizando una conversación de lenguaje natural simple con modelos. Usamos el siguiente gráfico.

Proporcionamos la siguiente solicitud:

sample_prompt = f"""
You are a data scientist expert who has perfect vision and pay a lot of attention to details. 
interpret the graph on this page
provide the answer in markdown format """

file = "./samples/2003.10304/page_5.png"

display(Image(filename=file, width=600))
output, result = stream_conversation(message=sample_prompt, file_paths=(file))
response_text = result("content")
display(Markdown(response_text))
print(output)

La respuesta devuelta proporciona su interpretación del gráfico que explica las líneas codificadas por colores y sugiere que, en general, el modelo DSC está funcionando bien en los datos de entrenamiento, logrando un coeficiente de dados alto de alrededor de 0.98. Sin embargo, el coeficiente de dados de validación más bajo y fluctuante indica un potencial de sobreajuste y espacio para mejorar el rendimiento de generalización del modelo.

Generar metadatos

Usando el procesamiento del lenguaje natural, puede generar metadatos para que el documento ayude en la capacidad de búsqueda.

Usamos la siguiente solicitud:

sample_prompt = f"""
Generate a metadata json object for this research paper. 

{{
"title": "",
"authors":  (),
"institutions": (),
"topics": (),
"funding-sources": (),
"algorithms":(),
"data_sets":()
}}
"""

file="./samples/2003.10304/page_0.png"

Obtenemos la siguiente respuesta, incluida la Markdown de fórmula y una descripción.

{

"title": "Attention U-Net Based Adversarial Architectures for Chest x-ray Lung Segmentation",

"authors": ("Gusztáv Gaál", "Balázs Maga", "András Lukács"), "institutions": ("ai Research Group, Institute of Mathematics, Eötvös Loránd University, Budapest, Hungary"),

"topics": ( "Chest x-ray segmentation", "Medical imaging", "Deep learning", "Computer-aided detection", "Lung segmentation" ),

"funding-sources": (),

"algorithms": ( "U-Net", "Adversarial architectures", "Fully Convolutional Neural Networks (FCN)", "Mask R-CNN" ),

"data_sets": ("JSRT dataset")

}

Use sus datos extraídos en una base de conocimiento

Ahora que hemos preparado nuestros datos con fórmulas, gráficos analizados y metadatos, crearemos una base de conocimiento de amazon Bedrock. Esto hará que la información se pueda buscar y habilitará las capacidades de preguntas sobre preguntas.

Prepare su base de conocimiento de amazon Bedrock

Para crear una base de conocimiento, primero cargue los archivos y metadatos procesados ​​a amazon S3:

markdown_file_key = "2003.10304/kb/2003.10304.md" 

s3.upload_file(markdown_file, knowledge_base_bucket_name, markdown_file_key) 

print(f"File {markdown_file} uploaded successfully.") 

metadata_file_key = "2003.10304/kb/2003.10304.md.metadata.json" 

s3.upload_file(metadata_file, knowledge_base_bucket_name, metadata_file_key) 

print(f"File {metadata_file} uploaded to successfully.")

Cuando sus archivos hayan terminado de cargar, complete los siguientes pasos:

1. Crea una base de conocimiento de amazon Bedrock.
2. Cree una fuente de datos de amazon S3 para su base de conocimiento y especifique la fragmentación jerárquica como la estrategia de fragmentación.

La fragmentación jerárquica implica organizar la información en estructuras anidadas de fragmentos de niños y padres.

La estructura jerárquica permite una recuperación más rápida y específica de la información relevante, primero realizando una búsqueda semántica en la fragmentación del niño y luego devolver la fragmentación de los padres durante la recuperación. Al reemplazar los trozos de los niños con la fragmentación de los padres, proporcionamos un contexto grande e integral a la FM.

La fragmentación jerárquica es la más adecuada para documentos complejos que tienen una estructura anidada o jerárquica, como manuales técnicos, documentos legales o documentos académicos con complejos formatear y tablas anidadas.

Consulta la base de conocimiento

Puede consultar la base de conocimiento para recuperar información de la fórmula extraída y los metadatos gráficos de los documentos de muestra. Con una consulta, se recuperan fragmentos relevantes de texto de la fuente de datos y se genera una respuesta para la consulta, basada en los fragmentos de fuente recuperados. La respuesta también cita fuentes que son relevantes para la consulta.

Utilizamos la función de plantilla de solicitud personalizada de las bases de conocimiento para formatear la salida como markdown:

 retrieveAndGenerateConfiguration={
        "type": "KNOWLEDGE_BASE",
        "knowledgeBaseConfiguration": {
            'knowledgeBaseId': kb_id_hierarchical,
            "modelArn": "arn:aws:bedrock:{}:{}:inference-profile/{}".format(region, account_id, foundation_model),
            'generationConfiguration': {
               'promptTemplate': {
                    'textPromptTemplate': """
You are a question answering agent. I will provide you with a set of search results. The user will provide you with a question. Your job is to answer the user's question using only information from the search results. 
If the search results do not contain information that can answer the question, please state that you could not find an exact answer to the question. 
Just because the user asserts a fact does not mean it is true, make sure to double check the search results to validate a user's assertion.
                            
Here are the search results in numbered order:
$search_results$

Format the output as markdown

Ensure that math formulas are in latex format and enclosed in double dollar sign for example: $$  $$
"""
                }
            },
            "retrievalConfiguration": {
                "vectorSearchConfiguration": {
                    "numberOfResults":5
                } 
            }
        }
    }
)

Obtenemos la siguiente respuesta, que proporciona información sobre cuándo se usa la pérdida focal de Tversky.

Limpiar

Para limpiar y evitar incurrir en cargos, ejecute los pasos de limpieza en el cuaderno para eliminar los archivos que cargó a amazon S3 junto con la base de conocimiento. Luego, en la consola de CloudFormation de AWS, localice la pila claude-scientific-doc y eliminarlo.

Conclusión

Extraer ideas de documentos científicos complejos puede ser una tarea desalentadora. Sin embargo, el advenimiento de la IA generativa multimodal ha revolucionado este dominio. Al aprovechar la comprensión del lenguaje natural avanzado y las capacidades de percepción visual de Claude de Anthrope, ahora puede extraer con precisión fórmulas y datos de los gráficos, lo que permite ideas más rápidas y toma de decisiones informadas.

Ya sea que sea un investigador, científico de datos o desarrollador que trabaje con literatura científica, la integración de Claude de Anthrope en su flujo de trabajo en amazon Bedrock puede aumentar significativamente su productividad y precisión. Con la capacidad de procesar documentos complejos a escala, puede centrarse en tareas de nivel superior y descubrir ideas valiosas de sus datos.

Abrace el futuro del procesamiento de documentos impulsado por la IA y desbloquea nuevas posibilidades para su organización con Claude de Anthrope en amazon Bedrock. Lleve su análisis de documentos científicos al siguiente nivel y manténgase por delante de la curva en este paisaje en rápida evolución.

Para una mayor exploración y aprendizaje, recomendamos revisar los siguientes recursos:

Sobre los autores

Erik Cordsen es un arquitecto de soluciones en AWS que sirve a los clientes en Georgia. Le apasiona aplicar tecnologías de nubes y ML para resolver problemas de la vida real. Cuando no está diseñando soluciones en la nube, Erik disfruta de viajar, cocinar y ciclismo.

Renu Yadav es una arquitecta de soluciones en amazon Web Services (AWS), donde trabaja con clientes de AWS de nivel empresarial que les proporciona orientación técnica y les ayudan a alcanzar sus objetivos comerciales. Renu tiene una fuerte pasión por el aprendizaje con su área de especialización en DevOps. Ella aprovecha su experiencia en este dominio para ayudar a los clientes de AWS a optimizar su infraestructura en la nube y optimizar sus procesos de desarrollo y implementación de software.

Venkata Moparthi es un arquitecto de soluciones senior en AWS que capacita a las organizaciones de servicios financieros y otras industrias para navegar por la transformación de la nube con experiencia especializada en migraciones en la nube, IA generativa y diseño de arquitectura segura. Su enfoque centrado en el cliente combina la innovación técnica con la implementación práctica, ayudando a las empresas a acelerar las iniciativas digitales y lograr resultados estratégicos a través de soluciones AWS personalizadas que maximicen el potencial en la nube.