En 2021, el La industria farmacéutica generó 550 mil millones de dólares en ingresos en Estados Unidos.. Las compañías farmacéuticas venden una variedad de medicamentos diferentes, a menudo novedosos, en el mercado, donde a veces pueden ocurrir eventos adversos no deseados pero graves.
Estos eventos pueden reportarse en cualquier lugar, desde hospitales o en casa, y deben ser monitoreados de manera responsable y eficiente. El procesamiento manual tradicional de eventos adversos se ve dificultado por la creciente cantidad de datos y costos de salud. En general, se proyecta que el costo de las actividades de farmacovigilancia para la industria de la salud en general será de $384 mil millones para 2022. Para respaldar las actividades generales de farmacovigilancia, nuestros clientes farmacéuticos desean utilizar el poder del aprendizaje automático (ML) para automatizar la detección de eventos adversos a partir de diversas fuentes de datos. , como feeds de redes sociales, llamadas telefónicas, correos electrónicos y notas escritas a mano, y desencadenar acciones apropiadas.
En esta publicación, mostramos cómo desarrollar una solución basada en aprendizaje automático utilizando Amazon SageMaker para detectar eventos adversos utilizando el conjunto de datos de reacciones adversas a medicamentos disponible públicamente en Hugging Face. En esta solución, ajustamos una variedad de modelos en Hugging Face que fueron entrenados previamente con datos médicos y utilizamos el modelo BioBERT, que fue entrenado previamente en Conjunto de datos publicado y funciona mejor que los probados.
Implementamos la solución utilizando el kit de desarrollo de la nube de AWS (AWS CDK). Sin embargo, no cubrimos los detalles específicos de la creación de la solución en esta publicación. Para obtener más información sobre la implementación de esta solución, consulte Creación de un sistema para detectar eventos adversos en tiempo real mediante Amazon SageMaker y Amazon QuickSight.
Esta publicación profundiza en varias áreas clave y brinda una exploración integral de los siguientes temas:
- Los desafíos de datos que enfrentan los servicios profesionales de AWS
- El panorama y la aplicación de grandes modelos lingüísticos (LLM):
- Transformadores, BERT y GPT
- abrazando la cara
- La solución LLM optimizada y sus componentes:
- Preparación de datos
- Entrenamiento modelo
Desafío de datos
La distorsión de los datos suele ser un problema cuando se plantean tareas de clasificación. Lo ideal sería tener un conjunto de datos equilibrado y este caso de uso no es una excepción.
Abordamos este sesgo con modelos generativos de IA (Falcon-7B y Falcon-40B), a los que se les pidió que generaran muestras de eventos basadas en cinco ejemplos del conjunto de entrenamiento para aumentar la diversidad semántica y aumentar el tamaño de la muestra de eventos adversos etiquetados. Es ventajoso para nosotros usar los modelos Falcon aquí porque, a diferencia de algunos LLM en Hugging Face, Falcon le brinda el conjunto de datos de entrenamiento que usan, por lo que puede estar seguro de que ninguno de sus ejemplos de conjuntos de prueba están contenidos dentro del conjunto de entrenamiento Falcon y evitar datos. contaminación.
El otro desafío de datos para los clientes de atención médica son los requisitos de cumplimiento de HIPAA. Se debe incorporar el cifrado en reposo y en tránsito a la solución para cumplir con estos requisitos.
Transformadores, BERT y GPT
La arquitectura transformadora es una arquitectura de red neuronal que se utiliza para tareas de procesamiento del lenguaje natural (NLP). Fue introducido por primera vez en el periódico. “Atención es todo lo que necesitas” por Vaswani et al. (2017). La arquitectura del transformador se basa en el mecanismo de atención, que permite al modelo aprender dependencias de largo alcance entre palabras. Los transformadores, como se establece en el artículo original, constan de dos componentes principales: el codificador y el decodificador. El codificador toma la secuencia de entrada como entrada y produce una secuencia de estados ocultos. Luego, el decodificador toma estos estados ocultos como entrada y produce la secuencia de salida. El mecanismo de atención se utiliza tanto en el codificador como en el decodificador. El mecanismo de atención permite que el modelo preste atención a palabras específicas en la secuencia de entrada al generar la secuencia de salida. Esto permite que el modelo aprenda dependencias de largo alcance entre palabras, lo cual es esencial para muchas tareas de PNL, como la traducción automática y el resumen de texto.
Una de las arquitecturas de transformadores más populares y útiles, las representaciones de codificador bidireccional de transformadores (BERT), es un modelo de representación de lenguaje que fue introducido en 2018. BERT está entrenado en secuencias en las que algunas de las palabras de una oración están enmascaradas y tiene que completar esas palabras teniendo en cuenta tanto las palabras anteriores como posteriores a las palabras enmascaradas. BERT se puede ajustar para una variedad de tareas de PNL, incluida la respuesta a preguntas, la inferencia del lenguaje natural y el análisis de sentimientos.
La otra arquitectura de transformador popular que ha conquistado al mundo es el Transformador Generativo Preentrenado (GPT). El primer modelo GPT fue introducido en 2018 por OpenAI. Funciona entrenándolo para predecir estrictamente la siguiente palabra en una secuencia, solo consciente del contexto antes de la palabra. Los modelos GPT se entrenan en un conjunto de datos masivo de texto y código, y se pueden ajustar para una variedad de tareas de PNL, incluida la generación de texto, la respuesta a preguntas y el resumen.
En general, BERT es mejor en tareas que requieren una comprensión más profunda del contexto de las palabras, mientras que GPT es más adecuado para tareas que requieren generar texto.
abrazando la cara
Hugging Face es una empresa de inteligencia artificial que se especializa en PNL. Proporciona una plataforma con herramientas y recursos que permiten a los desarrolladores crear, entrenar e implementar modelos de aprendizaje automático centrados en tareas de PNL. Una de las ofertas clave de Hugging Face es su biblioteca, Transformadoresque incluye modelos previamente entrenados que se pueden ajustar para diversas tareas lingüísticas, como clasificación de texto, traducción, resúmenes y respuesta a preguntas.
Hugging Face se integra perfectamente con SageMaker, que es un servicio totalmente administrado que permite a los desarrolladores y científicos de datos crear, entrenar e implementar modelos de aprendizaje automático a escala. Esta sinergia beneficia a los usuarios al proporcionar una infraestructura sólida y escalable para manejar tareas de PNL con los modelos de última generación que ofrece Hugging Face, combinados con los potentes y flexibles servicios de aprendizaje automático de AWS. También puede acceder a los modelos de Hugging Face directamente desde Amazon SageMaker JumpStart, lo que hace que sea conveniente comenzar con soluciones prediseñadas.
Descripción general de la solución
Utilizamos la biblioteca Hugging Face Transformers para ajustar los modelos de transformadores en SageMaker para la tarea de clasificación de eventos adversos. El trabajo de capacitación se crea utilizando el estimador SageMaker PyTorch. SageMaker JumpStart también tiene algunas integraciones complementarias con Hugging Face que facilitan su implementación. En esta sección, describimos los principales pasos involucrados en la preparación de datos y el entrenamiento del modelo.
Preparación de datos
Utilizamos los datos de reacciones adversas a los medicamentos (ade_corpus_v2) dentro del conjunto de datos de Hugging Face con una división de entrenamiento/prueba de 80/20. La estructura de datos requerida para el entrenamiento e inferencia de nuestro modelo tiene dos columnas:
- Una columna para contenido de texto como datos de entrada del modelo.
- Otra columna para la clase de etiqueta. Tenemos dos clases posibles para un texto:
Not_AE
yAdverse_Event
.
Entrenamiento y experimentación con modelos.
Para explorar de manera eficiente el espacio de posibles modelos de Hugging Face para ajustar nuestros datos combinados de eventos adversos, construimos un trabajo de optimización de hiperparámetros (HPO) de SageMaker y pasamos diferentes modelos de Hugging Face como hiperparámetro, junto con otros hiperparámetros importantes. como el tamaño del lote de entrenamiento, la duración de la secuencia, los modelos y la tasa de aprendizaje. Los trabajos de capacitación utilizaron una instancia ml.p3dn.24xlarge y tomaron un promedio de 30 minutos por trabajo con ese tipo de instancia. Las métricas de capacitación se capturaron a través de la herramienta Amazon SageMaker Experiments y cada trabajo de capacitación se realizó durante 10 épocas.
Especificamos lo siguiente en nuestro código:
- Tamaño del lote de entrenamiento – Número de muestras que se procesan juntas antes de que se actualicen los pesos del modelo
- Longitud de la secuencia – Longitud máxima de la secuencia de entrada que BERT puede procesar
- Tasa de aprendizaje – Qué tan rápido el modelo actualiza sus pesos durante el entrenamiento.
- Modelos – Modelos preentrenados de Hugging Face
Resultados
El modelo que funcionó mejor en nuestro caso de uso fue el monologg/biobert_v1.1_pubmed
modelo alojado en Hugging Face, que es una versión de la arquitectura BERT que ha sido previamente entrenada en el conjunto de datos Pubmed, que consta de 19,717 publicaciones científicas. El entrenamiento previo de BERT en este conjunto de datos le da a este modelo experiencia adicional cuando se trata de identificar el contexto en torno a términos científicos relacionados con la medicina. Esto mejora el rendimiento del modelo para la tarea de detección de eventos adversos porque ha sido entrenado previamente en una sintaxis médicamente específica que aparece con frecuencia en nuestro conjunto de datos.
La siguiente tabla resume nuestras métricas de evaluación.
Modelo | Precisión | Recordar | F1 |
BERT básico | 0,87 | 0,95 | 0,91 |
Biobert | 0,89 | 0,95 | 0,92 |
BioBERT con HPO | 0,89 | 0,96 | 0,929 |
BioBERT con HPO y evento adverso generado sintéticamente | 0,90 | 0,96 | 0.933 |
Aunque se trata de mejoras relativamente pequeñas e incrementales con respecto al modelo BERT básico, esto demuestra algunas estrategias viables para mejorar el rendimiento del modelo a través de estos métodos. La generación de datos sintéticos con Falcon parece muy prometedora y potencial para mejorar el rendimiento, especialmente a medida que estos modelos de IA generativa mejoran con el tiempo.
Limpiar
Para evitar incurrir en cargos futuros, elimine todos los recursos creados como el modelo y los puntos finales del modelo que creó con el siguiente código:
Conclusión
Hoy en día, a muchas empresas farmacéuticas les gustaría automatizar el proceso de identificación de eventos adversos de las interacciones con sus clientes de forma sistemática para ayudar a mejorar la seguridad y los resultados de los clientes. Como mostramos en esta publicación, el LLM BioBERT perfeccionado con eventos adversos generados sintéticamente agregados a los datos clasifica los eventos adversos con puntuaciones F1 altas y se puede utilizar para crear una solución compatible con HIPAA para nuestros clientes.
Como siempre, AWS agradece sus comentarios. Deje sus pensamientos y preguntas en la sección de comentarios.
Sobre los autores
Zack Peterson es científico de datos en AWS Professional Services. Ha trabajado activamente en la entrega de soluciones de aprendizaje automático a clientes durante muchos años y tiene una maestría en Economía.
Dr. Adewale Akinfaderin es científico de datos senior en atención médica y ciencias biológicas en AWS. Su experiencia se centra en métodos de IA/ML reproducibles y de extremo a extremo, implementaciones prácticas y ayuda a clientes de atención médica global a formular y desarrollar soluciones escalables para problemas interdisciplinarios. Tiene dos títulos de posgrado en Física y un doctorado en Ingeniería.
Ekta Walia Bhullar, PhD, es consultor senior de IA/ML en la unidad de negocios de servicios profesionales de atención médica y ciencias biológicas (HCLS) de AWS. Tiene una amplia experiencia en la aplicación de IA/ML en el ámbito sanitario, especialmente en radiología. Fuera del trabajo, cuando no habla de IA en radiología, le gusta correr y caminar.
El hombre es gerente sénior de ciencia de datos y aprendizaje automático en AWS Professional Services con sede en San Diego, CA. Tiene un doctorado en ingeniería de la Universidad Northwestern y varios años de experiencia como consultor de gestión asesorando a clientes en manufactura, servicios financieros y energía. En la actualidad, trabaja apasionadamente con clientes clave de diversos sectores industriales para desarrollar e implementar soluciones de aprendizaje automático e inteligencia artificial generativa en AWS.