Inicio
My blog posts
-
Comparativas hdparm
comando:
-
Scraping inicial terminado.md
Terminé la parte de hacer scraping a la página inicial de un área en Airbnb, de hecho usé 4 zonas del área de Mazatlán, Sinaloa, para aumentar la cantidad de listings para hacer scraping.
El archivo con el que se inicia es
scrape_page.py, el cual toma 4 links de Airbnb y les hace el scraping tanto a la página inicial como hasta 10 páginas máximo del paginado; se mandan parámetros de 30 días en el futuro, 3 noches de estancia y 2 huéspedes.Para obtener el código donde residen los datos de los listings, ví que se manda dentro de un script en formato json:
scripts = soup_html.find_all("script", attrs={"type":"application/json", "id":"data-injector-instances"})Y cada listing se obtiene en el siguiente nodo:
results = node["root > core-guest-spa"][1][1]["niobeMinimalClientData"][1][1]["data"]["presentation"]["staysSearch"]["results"]["searchResults"]Así se ve el listing procesado a json:
Después de hacer el scraping completo de las 4 páginas base, se obtuvo un total de 1,692 registros, con los que haré Exploratory Data Analisys (EDA) en los siguientes posts, en los cuales inicialmente tendré que realizar las siguientes actividades:
- Ver que los acentos se vean correctamente cuando los cargue en un DataFrame
- estandarizar el campo roomTypeCategory
- separar los valores del campo rating (calificación y evaluaciones)
- análizar el campo de camas
- cambiar el valor de price a número
- analizar valores repetidos
-
Actualizando scraping inicial de airbnb
Ok, cuando inicié el proyecto de scraping de Airbnb (aprox. agosto 2023), Airbnb mandaba datos distintos en la página inicial de un área geográfica, “pintaba” directamente en cards los textos de los listings, pero al día de hoy esto cambió y ahora manda los datos primero en un script en formato json y luego con javascript los pinta en el html de la página. Por la forma en la que hago scraping (requests + BeautifulSoup) tengo que extraer los datos del script/json.
-
Scraping mainpage airbnb
En este post explico los primeros pasos para hacer scraping de la página inicial de un área geográfica en Airbnb y extraer los listings que se muestren en esa página.
-
Proyecto DataScience/Airbnb/Scraping - Parte 1
En este proyecto pretendo hacer scraping de los datos de Airbnb para la zona hotelera de Mazatlán, Sinaloa, México. La idea es tener una base de datos que me permita analizar:
- Cuál es la tasa de ocupación de los listings disponibles en la zona
- Cuál es el precio promedio de los listings publicados
- Cuáles son las palabras claves de los listings más exitosos en el área
- Cuáles son las características de los listings más exitosos en el área
-
Lenguajes de programación que uso
Título 1
subscribe via RSS