Configurar Mage AI con Postgres

Introducción

Imagínese como un profesional de datos encargado de crear un flujo de datos eficiente para optimizar los procesos y generar información en tiempo real. Suena desafiante, ¿verdad? Ahí es donde entra en juego Mage ai para garantizar que los prestamistas que operan en línea obtengan una ventaja competitiva. Imagínese esto: por lo tanto, a diferencia de muchas otras extensiones que requieren una configuración profunda y una codificación constante, Mage ai tiene una configuración paso a paso clara y poco exigente y puede usar su interfaz clara sin tener que arrastrar y soltar elementos. También compartiré con usted cómo importar Mage ai con PostgreSQL para que pueda crear su primer flujo de datos con Mage ai. ¡Permítame presentarle los pasos que lo ayudarán a mejorar aún más su procesamiento de datos!

Resultados del aprendizaje

• Comprenda cómo configurar Mage ai para una integración perfecta con PostgreSQL.
• Aprenda a cargar datos sin procesar en PostgreSQL y crear esquemas usando pgAdmin4.
• Domine el proceso de creación y gestión de canales de datos en Mage ai.
• Descubra cómo configurar activadores automáticos y programar canalizaciones de datos.
• Obtenga información sobre las funciones avanzadas de Mage ai, como el procesamiento y el monitoreo en tiempo real.

Este artículo fue publicado como parte de la Blogatón sobre ciencia de datos.

<h2 class="wp-block-heading" id="h-what-is-mage-ai“>¿Qué es Mage ai?

Mage ai simplifica la integración de flujos de trabajo de datos en crecimiento como una herramienta de código abierto. Con su diseño limpio y su interfaz similar a una aplicación, los ingenieros y analistas de datos pueden crear fácilmente canales de datos utilizando opciones de un solo clic, eliminando la necesidad de codificación. Importar, analizar y manipular big data es mucho más fácil con Mage ai, que viene con funciones como arrastrar y soltar, transformación de datos, compatibilidad con fuentes de datos, entre otras. La primera permite a los usuarios dedicar su tiempo al lado analítico en lugar de preocuparse por las infraestructuras subyacentes que deben configurarse. Mage ai también admite secuencias de comandos de Python donde se pueden definir transformaciones personalizadas que lo hacen adecuado tanto para usuarios técnicos como no técnicos.

Beneficios de utilizar Mage ai con PostgreSQL

Veamos los beneficios de utilizar Mage ai con PostgreSQL.

• Gestión de datos optimizada:Mage ai simplifica la creación de canales de datos con su interfaz de arrastrar y soltar, lo que facilita la carga, transformación y exportación de datos desde PostgreSQL sin codificación manual.
• Automatización mejorada:Automatice tareas de datos recurrentes, como procesos ETL, configurando activadores y canalizaciones programadas, lo que reduce la necesidad de intervenciones manuales constantes.
• Integración perfecta:Mage ai se integra sin problemas con PostgreSQL, lo que permite a los usuarios administrar grandes conjuntos de datos de manera eficiente y realizar operaciones de datos complejas dentro del mismo flujo de trabajo.
• Transformaciones personalizables:Aproveche las secuencias de comandos de Python en Mage ai para realizar transformaciones de datos personalizadas en datos de PostgreSQL, lo que permite flexibilidad para el procesamiento de datos avanzado.
• Escalable y confiable:Mage ai administra los pipelines de manera eficiente, lo que garantiza un manejo fluido de conjuntos de datos pequeños y grandes, mientras que la escalabilidad de PostgreSQL respalda el crecimiento empresarial sin cuellos de botella en el rendimiento.
• Fácil de usar:La interfaz intuitiva la hace accesible a usuarios con distintos niveles de experiencia técnica, lo que permite un aprendizaje más rápido y una implementación más veloz de soluciones de datos.

<h2 class="wp-block-heading" id="h-setup-mage-ai-with-postgres-to-build-and-manage-your-data-pipeline”>Configurar Mage ai con Postgres para crear y administrar su canalización de datos

Configurar Mage ai con Postgres le permite crear y administrar sin inconvenientes potentes canales de datos, automatizar flujos de trabajo y simplificar tareas de datos complejas para obtener información de manera eficiente. Veamos los pasos necesarios para configurar Mage ai con Postgres.

Paso 1: Preparación de la base de datos Postgres

Antes de sumergirse en Mage ai, cargue sus archivos de datos sin procesar en Postgres mediante pgAdmin4 y cree el esquema correcto para cada archivo. A continuación, le indicamos cómo comenzar:

Subir archivos sin procesar a Postgres a través de pgAdmin4

• Abra pgAdmin4 y conéctese a su servidor Postgres.
• Cree una nueva base de datos o utilice una existente.
• Asegúrese de agregar el esquema correcto para cada archivo de datos sin procesar.
• Cargue/exporte sus archivos de datos a las tablas apropiadas dentro de este esquema.

import pandas as pd
import chardet

# Open the file in binary mode and read a sample
with open("expensemaster.csv", 'rb') as file:
    sample = file.read(10000)  # Read first 10,000 bytes as a sample

# Detect encoding
detected = chardet.detect(sample)
print(detected('encoding'))

# Use the detected encoding to read the CSV
try:
    df = pd.read_csv("expensemaster.csv", encoding=detected('encoding'))
except UnicodeDecodeError:
    # If reading fails, try with a common encoding like UTF-8
    df = pd.read_csv("expensemaster.csv", encoding="utf-8")

# Infer data types
dtype_mapping = {
    'object': 'TEXT',
    'int64': 'BIGINT',
    'float64': 'DOUBLE PRECISION',
    'datetime64(ns)': 'TIMESTAMP',
    'bool': 'BOOLEAN'
}

column_definitions=", ".join((f'"{col}" {dtype_mapping(str(df(col).dtype))}' for col in df.columns))

# Generate the CREATE TABLE SQL
table_name="expensemaster"
create_table_sql = f'CREATE TABLE {table_name} ({column_definitions});'
print(create_table_sql)

Haga clic en actualizar en “Tablas” para obtener la tabla recién creada.

Iniciar el servicio Postgres

Asegúrese de que el servicio Postgres esté en ejecución. Puede comprobarlo en pgAdmin4 o mediante la terminal psql.

Paso 2: Recopilación de detalles de configuración de Postgres

Necesitará detalles específicos para configurar Mage ai con Postgres. Esto es lo que necesita y cómo encontrarlo:

• NOMBRE_DB_POSTGRES:El nombre de su base de datos Postgres.
• ESQUEMA_POSTGRES:El esquema donde se cargan sus archivos de datos.
• USUARIO_POSTGRES:El nombre de usuario para su base de datos Postgres.
• CONTRASEÑA DE POSTGRES:La contraseña para su base de datos Postgres.
• HOST_POSTGRES:La dirección IP del host de su servidor Postgres.
• PUERTO_POSTGRES:Generalmente 5432 para Postgres.

<h3 class="wp-block-heading" id="h-step3-installing-mage-ai-using-docker-in-vs-code”>Paso 3: Instalación de Mage ai con Docker en VS Code

Para instalar Mage ai, utilizaremos la extensión Docker en Visual Studio Code (VS Code). Asegúrate de tener instalado Docker Desktop y la extensión Docker para VS Code.

Instalar Docker Desktop

Descargue e instale Docker Desktop desde aquí e inicialícelo.

Instalar la extensión Docker para VS Code:

• Abra VS Code y vaya a la vista Extensiones haciendo clic en el ícono Extensiones en la Barra de actividad en el costado de la ventana o presionando Ctrl+Shift+x.
• Busque “Docker” e instale la extensión Docker de Microsoft.

<h4 class="wp-block-heading" id="h-pull-the-mage-ai-docker-image”>Extraer la imagen Docker de Mage ai

• Abra una terminal en VS Code y navegue a la carpeta de su proyecto.
• Ejecute el siguiente comando para extraer la última imagen Docker de Mage ai:

docker pull mageai/mageai:latest

<h4 class="wp-block-heading" id="h-run-the-mage-ai-docker-image”>Ejecutar la imagen Docker de Mage ai

• Una vez extraída la imagen de Mage ai, vaya a la pestaña Docker en VS Code.
• Busque la imagen de Mage ai y ejecútela. Esto creará un nuevo contenedor.
• Haga clic derecho en el contenedor recién creado y seleccione “Abrir en el navegador”.
• La interfaz de Mage ai ahora debería cargarse en tu navegador web predeterminado.

<h3 class="wp-block-heading" id="h-step4-configuring-mage-ai-to-connect-with-postgres”>Paso 4: Configuración de Mage ai para conectarse con Postgres

Configure la conexión a la base de datos en io_config.yaml:

• Vaya a la sección Todos los archivos de su canalización.
• Localice y abra el archivo io_config.yaml.
• Agregue sus detalles de conexión de Postgres de la siguiente manera

<h4 class="wp-block-heading" id="h-allow-mage-ai-to-access-the-postgres-database”>Permitir que Mage ai acceda a la base de datos de Postgres

• Para otorgar acceso a la base de datos en su dirección IP, debe modificar el archivo pg_hba.conf.
• Localice el archivo pg_hba.conf en C:\Archivos de programa\PostgreSQL\16\data.
• Abra el archivo y agregue la fila debajo de la sección # Conexiones locales IPv4 como se muestra en la Figura 4.

Paso 5: Crea tu primer pipeline de datos

Ahora que Mage ai está configurado para conectarse con Postgres, podemos crear nuestra primera secuencia de datos. Comenzaremos configurando bloques de carga de datos para cada conjunto de datos y usando la función de arrastrar y soltar para conectarlos en un diagrama de flujo.

Crear bloques de cargadores de datos

• Para cada conjunto de datos, cree un bloque de cargador de datos independiente.
• En la interfaz de Mage ai, arrastre y suelte un bloque de cargador de datos en el lienzo para cada conjunto de datos que necesite cargar desde Postgres.
• Configure cada bloque del cargador de datos con los detalles de conexión y la consulta adecuados para obtener los datos de Postgres.

Conecte los bloques del cargador de datos al bloque del transformador

Utilice la función de arrastrar y soltar para conectar los bloques del cargador de datos en el diagrama de flujo con el siguiente bloque de código del transformador. Esta representación visual ayuda a comprender el flujo de datos y a garantizar que todos los pasos estén conectados correctamente.

Creación de bloques de exportación de datos

• En la interfaz de Mage ai, después de configurar el cargador de datos y los bloques de transformación, agregue un bloque exportador de datos al lienzo.
• Elija “Postgres” como destino de los datos en Python.
• Proporcione los detalles de conexión necesarios a su base de datos Postgres. Escriba el código para exportar los datos transformados a la base de datos PostgreSQL.

Paso 6: Creación de activadores y programación de pipelines

Mage ai ofrece la posibilidad de crear activadores para ejecutar su canalización y programarla para una ejecución regular. Esto garantiza que sus datos estén siempre actualizados sin intervención manual.

Creando un disparador

• En Mage ai, puedes configurar activadores para ejecutar tu pipeline en función de eventos o condiciones específicos. Por ejemplo, puedes activar un pipeline para que se ejecute cada vez que se agreguen datos nuevos a tu base de datos Postgres.
• Para crear un disparador, navegue a la configuración de la canalización y configure las condiciones del disparador según sea necesario.

Programación del oleoducto

• Mage ai permite programar procesos para que se ejecuten a intervalos regulares. Esto se puede hacer a través de la configuración de programación en el panel de Mage ai.
• Puede especificar la frecuencia (diaria, semanal, etc.) y el tiempo durante el cual se ejecutará el pipeline.

<h2 class="wp-block-heading" id="h-additional-features-of-mage-ai“>Características adicionales de Mage ai

Mage ai ofrece varias funciones potentes para automatizar y mejorar sus canales de datos:

• Integración con múltiples fuentes de datos: Mage ai también acepta numerosos tipos de entradas de datos: bases de datos, almacenamiento en la nube y API que le permiten construir flujos de datos diversos y extensos.
• Capacidades de transformación avanzadas: Basado en Python, Mage ai le brinda la oportunidad de implementar transformaciones personalizadas con la ayuda de decoradores que facilitan el proceso de realización de varios algoritmos de transformación de datos.
• Escalabilidad: Mage ai optimiza su rendimiento para big data, lo que le permite manejar cantidades cada vez mayores de datos a medida que crecen.
• Monitoreo y alertas: Mage ai proporciona una potente funcionalidad de monitoreo y alerta y permite monitorear el flujo de trabajo del pipeline, así como recibir notificaciones sobre fallas.
• Interfaz fácil de usar: El diseño gráfico de las canalizaciones de datos significa que los usuarios no tienen que preocuparse por una codificación complicada para manipular y transformar sus datos.

Ellos quieren hacer de Mage ai una herramienta para automatizar los flujos de trabajo de datos como la infraestructura de datos para que usted no necesite dedicar mucho tiempo a ello.

Conclusión

Hoy en día, la información es un activo valioso, lo que hace que la gestión de datos sea esencial para las organizaciones. Este artículo proporciona una guía clara sobre cómo configurar Mage ai con PostgreSQL, lo que le ayudará a crear una sólida canalización de datos que no solo agilice varios procesos, sino que también aumente significativamente la productividad. Con el software asociado, la utilización de Mage ai junto con bases de datos sólidas como PostgreSQL permite a los usuarios gestionar, analizar y tomar las decisiones correctas en el menor tiempo posible. A medida que las organizaciones han intensificado sus esfuerzos en metodologías y marcos basados ​​en datos, las tecnologías como Mage ai están preparadas para convertirse en los modelos dominantes para la gestión de datos.

Preguntas frecuentes

Los medios que se muestran en este artículo no son propiedad de Analytics Vidhya y se utilizan a discreción del autor.