Web Scraping con LLM y ScrapeGraphAI

El web scraping se ha convertido en una herramienta importante y esencial para recopilar información útil de los sitios web disponibles. De todas las herramientas presentes, ScrapeGraphAI es única ya que puede identificar gráficos y utilizar inteligencia artificial para el web scraping. Este artículo explora las características de ScrapeGraphAI, proporciona una guía paso a paso para la implementación y aborda desafíos comunes. Ya sea que sea nuevo en el web scraping o un usuario experimentado, esta guía le proporcionará los conocimientos necesarios para utilizar ScrapeGraphAI de forma eficaz.

Objetivos de aprendizaje

• Comprenda las características y ventajas clave de utilizar ScrapeGraphAI para el web scraping.
• Aprenda a instalar y configurar ScrapeGraphAI para sus proyectos de scraping.
• Obtenga experiencia práctica con una guía de implementación paso a paso para extraer datos web.
• Reconozca los desafíos y consideraciones al utilizar ScrapeGraphAI de manera efectiva.
• Descubra cómo exportar datos extraídos a formatos útiles como Excel o CSV.

Este artículo fue publicado como parte del Blogatón de ciencia de datos.

¿Qué es ScrapeGraphAI?

Eliminar listados de productos de amazon puede ser una tarea desalentadora. Normalmente, podrías gastar 200–300 líneas de código configurando solicitudes HTTP, analizando HTML con selectores o expresiones regulares, manejando la paginación, manejando medidas anti-bot y más. pero con ScrapeGraphAIpuede indicarle a un modelo de IA (respaldado por grandes modelos de lenguaje) que extraiga exactamente lo que necesita, a menudo en solo unas pocas líneas de Python.

Descargo de responsabilidad:

• Los Términos de servicio de amazon generalmente prohíben el scraping o la extracción de datos sin un permiso explícito.
• Este artículo es puramente una demostración de las capacidades de ScrapeGraphAI en una única página de amazon para uso educativo o personal.
• El scraping comercial o a gran escala de amazon puede ser legal y técnicamente riesgoso.

¿Por qué elegir ScrapeGraphAI para Web Scraping?

ScrapeGraphAI revoluciona el web scraping al cambiar el enfoque de la codificación compleja a instrucciones intuitivas en lenguaje natural, lo que hace que la extracción de datos sea más rápida, simple y eficiente.

Reducción significativa en el código

Con el scraping tradicional, puede utilizar solicitudes, BeautifulSoup, Selenium u otras bibliotecas. Un script típico podría alcanzar fácilmente entre 200 y 300 líneas una vez que se tenga en cuenta el manejo de errores, los selectores de CSS, la paginación y más. Por el contrario, ScrapeGraphAI utiliza indicaciones en lenguaje natural para describir lo que desea, lo que significa que la mayor parte del trabajo pesado lo realiza un modelo de IA en segundo plano.

Creación de prototipos más rápida

Como no es necesario crear selectores manualmente para cada pieza de HTML ni preocuparse por cambios menores en el DOM, puede crear un prototipo en minutos.

Enfoque de alto nivel

Al describir sus necesidades de datos en inglés cotidiano, se concentra en lo que desea en lugar de en cómo obtenerlo. Este enfoque puede ser más sólido ante pequeños cambios de diseño que las frágiles consultas CSS o XPath (aunque los rediseños del sitio aún pueden romper cualquier enfoque automatizado).

Facilidad de mantenimiento

Cuando amazon (o cualquier otro sitio) cambia su diseño, a menudo hay que rebuscar en HTML nuevamente para encontrar los selectores correctos. Con ScrapeGraphAI, generalmente solo actualiza su mensaje si los encabezados o la estructura de la página cambian.

Primeros pasos con ScrapeGraphAI

Embarcarse en su viaje de web scraping con ScrapeGraphAI es sencillo y sin complicaciones. Al aprovechar su interfaz intuitiva y sus capacidades impulsadas por IA, puede evitar las complejidades habituales de las configuraciones tradicionales de scraping.

Los pasos a continuación lo guiarán para adquirir la clave API ScrapeGraphAI, instalar las herramientas necesarias y configurar su entorno para extraer datos de manera eficiente en solo unos pocos pasos. Ya sea que sea un desarrollador experimentado o un principiante, encontrará que el proceso optimizado de ScrapeGraphAI cambiará las reglas del juego para abordar las tareas de extracción de datos.

• Ir a: ScrapeGraphAI
• Haga clic en: Comenzar
• Iniciar sesión: puede iniciar sesión con su cuenta de Google.
• Copie su clave API: en la página siguiente, se mostrará su clave API. Simplemente cópialo.

Nota: ScrapeGraphAI proporciona 100 créditos gratis para empezar!

Guía de implementación paso a paso

A continuación, le mostraremos cómo extraer la página de resultados de búsqueda de la mesita de noche de amazon y extraer detalles como título, precio, calificación, número de calificaciones e información de entrega con solo un puñado de líneas de código.

Paso 1: instalar dependencias

Antes de comenzar, deberá instalar las bibliotecas necesarias. Estos proporcionarán las herramientas necesarias para el web scraping y el manejo de datos.

pip install --quiet -U langchain-scrapegraph pandas

• langchain-scrapegraph: El paquete oficial para las herramientas Python de ScrapeGraphAI.
• pandas: Usaremos esto para almacenar los resultados en un archivo DataFrame o Excel.

Paso 2: importe y configure su clave API

Para interactuar con ScrapeGraphAI, deberá configurar su clave API. Si la clave aún no está en su entorno, se le pedirá que la ingrese de forma segura.

import os
import getpass
import pandas as pd
from langchain_scrapegraph.tools import SmartScraperTool

# If you haven't set your API key in your environment, you'll be prompted for it:
if not os.environ.get("SGAI_API_KEY"):
    os.environ("SGAI_API_KEY") = getpass.getpass("ScrapeGraph ai API key:\n")

Paso 3: cree la herramienta SmartScraper

Este paso inicializa ScrapeGraphAI SmartScraper, que sirve como corazón del proceso de raspado.

smartscraper = SmartScraperTool()

Esta línea de código le brinda acceso a un raspador web basado en inteligencia artificial que acepta un mensaje simple.

Paso 4: escriba el mensaje

En lugar de escribir líneas de selectores CSS o XPath, le indica a la herramienta qué hacer en un lenguaje sencillo. Por ejemplo:

scraper_prompt = """
1. Go to the amazon search results page: https://www.amazon.in/s?k=bedside+table
2. For each product listing, extract:
   - Product Title
   - Price
   - Star Rating
   - Number of Ratings
   - Delivery details
3. Return the results as a JSON array of objects, each with keys:
   "title", "price", "rating", "num_ratings", "delivery".
4. Ignore sponsored listings if possible.
"""

Siéntase libre de agregar o eliminar instrucciones. También puede incluir “enlace de producto” o “elegibilidad principal”.

Paso 5: invocar el raspador

Con el indicador y el raspador listos, ahora puede ejecutar la tarea de raspado.

search_url = "https://www.amazon.in/s?k=bedside+table"

result = smartscraper.invoke({
    "user_prompt": scraper_prompt,
    "website_url": search_url
})

print("Scraped Results:\n", result)

Lo que obtendrá normalmente es una lista (matriz) de diccionarios. Cada diccionario contiene los datos que solicitaste: título, precio, calificación, núm_calificaciones, entrega, etc.

Ejemplo (simplificado):

(
  {
    "title": "XYZ Interiors Wooden Bedside Table...",
    "price": "₹1,499",
    "rating": "4.3 out of 5 stars",
    "num_ratings": "1,234",
    "delivery": "Get it by Monday, January 10"
  },
  ...
)

Producción:

result
{"products": ({"title": "Studio Kook SEZ Sofa Mate Engineered Wood Side Table 
(Junglewood, Matte Finish)",
'rating: 4.5 out of 5 stars',
"num_ratings": "19",
'delivery': 'Get it Monday 6 January Wednesday 8 January",
"product_link":
"3.0.in/dio-oo-oo-Fi/"}, {"title":"ULD CRAFTS Antique Wooden Fold-able Coffee 
Table/Side Table/End Table/Tea Table/Plant Stand/St 'price': '979',
'rating': '4.0 out of 5 stars',
'n ratings" '14,586,
'delivery': "FREE delivery Thu, 2 Jan on top of items fulfilled by amazon or fastest
delivery Tomorrow, 'product_link":"https://mazon.in/SSD-CRAFTS-Residul-fold-ale-
humáture/de/2692716056"},
('title': 'Firebees Modern Wooden Table, Wooden Bedside Table for Bed Room,
'nun ratings": "292",
'delivery': "Get it by 6-7 Jan",
'product_link":"//amazon.joedside-lansstand-millexten/da/GAMIX"),
('title': 'Delon Wooden Center Table, End Sofa, Bedside Table, Corner Coffee Table 
with Solid Finish Space 'price': '49",
"rating": "3.6 out of 5 stars',
'n ratings": "63",
'delivery' "Get it by 67 Jan",
'product_link': '//zon.in/ein-Bedside-furniture-Storage-Bedroom/da/55"},
{"title":"ETIQUETTE ART Retro Bookcase Nightstand, End Table, Bed Side Table for 
Small Spaces Magazine Star
'price': '99,
'rating': '3.8 out of 5 stars',
num ratings": "15",
'delivery': "Get it by Tuesday, January 7,
'product_link":"\/APHYAL"}}}
Output is truncated. View assialer or open in a tots Adjust cell output

Paso 6: Opcional: Exportar a Excel o CSV

Si desea almacenar sus resultados, pandas lo hace fácil:

df = pd.DataFrame(result)
df.to_excel("bedside_tables.xlsx", index=False)
print("Data exported to bedside_tables.xlsx")

Ventajas de utilizar ScrapeGraphAI

A continuación se detallan las ventajas de utilizar ScrapeGraphAI, que lo convierten en una opción destacada para el web scraping eficiente e inteligente.

Sencillez

• El scraping tradicional con solicitudes + BeautifulSoup o Selenium puede aumentar fácilmente a 200-300 líneas una vez que se tiene en cuenta el manejo de errores, la paginación, la carga dinámica y el análisis de datos.
• Con ScrapeGraphAI, a menudo puedes lograr el mismo resultado en menos de 20 líneas (a veces incluso menos de 10).

Ahorro de tiempo

• No es necesario que descubras cada selector de CSS o XPath. Simplemente diga: “Extraiga el título, el precio, la calificación…”
• El LLM realiza el análisis HTML pesado entre bastidores.

Iteración rápida

• En lugar de reescribir una lógica compleja para cada nuevo punto de datos, simplemente reformule su mensaje para capturar los campos adicionales que necesita.

Evolucionando con la página

• Si amazon cambia los nombres de las clases o modifica ligeramente la estructura HTML, es posible que solo necesite un pequeño ajuste, en lugar de reescribir consultas CSS o XPath completas.

Desafíos y consideraciones

A continuación se detallan los desafíos y consideraciones que se deben tener en cuenta al utilizar ScrapeGraphAI para garantizar un web scraping fluido y eficaz.

<h3 class="wp-block-heading" id="h-amazon-s-terms-of-service”>Términos de servicio de amazon

• amazon generalmente prohíbe la extracción automatizada de datos. El scraping repetido o a gran escala puede bloquearlo o tener consecuencias legales.
• Si planea hacer algo más que pruebas a pequeña escala, obtenga un permiso explícito o considere una fuente de datos oficial.

CAPTCHA / Medidas anti-bot

• amazon puede detectar patrones de tráfico inusuales. Si está bloqueado, es posible que necesite soluciones avanzadas: servidores proxy rotativos, navegadores sin cabeza o solicitudes cuidadosamente programadas.

Volúmenes de datos

• Si desea miles de listados de varias páginas, asegúrese de que su enfoque sea sólido para manejar la paginación y grandes conjuntos de datos.
• También controle sus créditos ScrapeGraphAI para uso a gran escala.

Contenido dinámico

• Si cierta información (como envío o insignias principales) se carga dinámicamente a través de JavaScript, un enfoque estático podría omitirla. Es posible que se necesiten técnicas más avanzadas (como Selenium o Puppeteer) para capturar cada detalle.

Conclusión

ScrapeGraphAI aporta un enfoque revolucionario al web scraping. En lugar de codificar minuciosamente la lógica de análisis, usted delega esa complejidad a un modelo de IA, reduciendo su código base de cientos de líneas a un script conciso y fácil de leer.

Para muchos casos de uso, como comparaciones rápidas de productos, extracción de datos únicos o investigaciones a pequeña escala, esto puede suponer un enorme ahorro de tiempo. Sin embargo, aún es necesario tener en cuenta las políticas de amazon y, para el scraping a gran escala, las técnicas avanzadas y las consideraciones de cumplimiento siguen siendo esenciales.

En breve:

• Si solo necesita un puñado de puntos de datos de unas pocas páginas, ScrapeGraph ai puede ser su mejor amigo.
• Para trabajos más importantes, asegúrese de cumplir con los términos de servicio del sitio y estar preparado para manejar CAPTCHA u otros obstáculos anti-bot.

Conclusiones clave

• ScrapeGraphAI reduce el esfuerzo y la complejidad del web scraping, desde cientos de líneas de código hasta instrucciones concisas y basadas en indicaciones.
• Con indicaciones en lenguaje natural, puede extraer datos rápidamente sin preocuparse por los selectores HTML o los cambios de diseño.
• Las actualizaciones menores de las indicaciones pueden manejar cambios en la estructura del sitio, minimizando la necesidad de reescrituras extensas del código.
• Eliminar amazon a escala puede violar sus Términos de servicio y requerir soluciones para CAPTCHA y medidas anti-bot.
• Ideal para la extracción rápida de datos a pequeña escala, pero los proyectos a gran escala requieren el cumplimiento de las políticas de amazon y mecanismos de manejo sólidos.

Preguntas frecuentes

Los medios que se muestran en este artículo no son propiedad de Analytics Vidhya y se utilizan a discreción del autor.