El web scraping consiste en navegar automáticamente una web y extraer de ella información. Esto puede ser muy útil y bastante frecuente, sin ir más lejos Google "scrapea" la red constantemente para que su buscador funcione corretamente. Para ello utlizamos "bots" que son programas informáticos que efectúa automáticamente tareas repetitivas a través del navegador.
El objetivo de este taller es hacer una pequeña introducción a esta técnica. Todo el flujo de trabajo los tenemos dividido en carpetas, y es el siguiente:
1. Selectores
En este parte vamos a utilizar los selectores para familiarizarnos con la obtención de información desde el DOM. Seguramente hay cosas que consideres obvias, pero nunca viene mal recordarlas.
¡¡ Al turrón !!
2. Puppeteer
Aquí, ya tenemos más enjundia y vamos a obtener la información sin que seamos nosotras las que manipulemos el DOM. Para ello vamos a utilizar Puppeteer. Puppeteer es una librería de NodeJS que permite controlar Chrome sobre el protocolo de DevTools; permitiéndonos, de ésta manera, realizar acciones sobre una web como si de una persona se tratase.
¡¡ Rock and roll !!
Nos ha parecido interesante que podamos "servir" todo el contenido que hemos "scrapeado" en los pasos anteriores. La mejor manera que se nos ha ocurrido es crear un WebService con ellos, para que luego puedas usarlos y crear tu propia aplicación.
¡¡ Despliega tu magia !!