Growth hacking - Introducción al scraping
34
Nuestros Hacks y sus resultados Growth Hack Spain WEB SCRAPPING 101 Martes 16 – Junio – 2015
-
Upload
jose-vicente-sogorb-moron -
Category
Marketing
-
view
134 -
download
0
Transcript of Growth hacking - Introducción al scraping
Nuestros Hacks y sus resultados
Growth Hack Spain
WEB SCRAPPING 101
Martes 16 – Junio – 2015
¿Scrapping?
“Obtener y acumular datos extraidos de servicios online de forma automática”
Definición de Scraping
@Joviwap - #GHSMad
Utilidad – Generación de Leads
@Joviwap - #GHSMad
Utilidad – Generación de Leads
@Joviwap - #GHSMad
Utilidad – Análisis de mercado
@Joviwap - #GHSMad
Utilidad – Buscadores
@Joviwap - #GHSMad
Ventajas
• Ahorra mucho tiempo.• Estandariza los datos.• Permite cotejar la validez de los datos si hay
varias fuentes.
@Joviwap - #GHSMad
Desventajas
• Pueden haber datos incompletos.• Pueden haber datos incorrectos.• Pueden haber duplicidades.• Puede ser ilegal.
@Joviwap - #GHSMad
Cuando es ilegal el scrapping
American Airllines vs FareChase (USA)
FareChase vendía un software que recopilaba los
precios de los vuelos de AA
Caso:
Actividad:
@Joviwap - #GHSMad
Cuando es ilegal el scrapping
American Airllines vs FareChase (USA)
FareChase vendía un software que recopilaba los
precios de los vuelos de AA
Caso:
Actividad:
@Joviwap - #GHSMad
Cuando es ilegal el scrapping
American Airllines vs FareChase (USA)
FareChase vendía un software que recopilaba los
precios de los vuelos de AA
Caso:
Actividad:
@Joviwap - #GHSMad
Cuando es ilegal el scrapping
Ryanair vs Atrápalo (España)
Atrapalo realizaba busquedas de vuelos, agrupaba
los precios y los publicaba a sus usuarios.
Caso:
Actividad:
@Joviwap - #GHSMad
Cuando es ilegal el scrapping
Ryanair vs Atrápalo (España)
Atrapalo realizaba busquedas de vuelos, agrupaba
los precios y los publicaba a sus usuarios.
Caso:
Actividad:
NOT GUILTY
@Joviwap - #GHSMad
Cuando es ilegal el scrapping
Google News vs EADE(España)
Google News buscaba noticias en diferentes medios
que se habían dado de alta en su servicio para
despues mostrar los resultados a sus usuarios de
forma gratuita.
Caso:
Actividad:
@Joviwap - #GHSMad
Cuando es ilegal el scrapping
Google News vs EADE(España)
Google News buscaba noticias en diferentes medios
que se habían dado de alta en su servicio para
despues mostrar los resultados a sus usuarios de
forma gratuita.
Caso:
Actividad:
@Joviwap - #GHSMad
¿Cuándo es legal el scrapping?
No hay norma común de lo que está permitido y lo que no.
-Mandar emails.-Llamar por teléfono.-Seguir en Twitter!!!!
A personas que no lo hayan solicitado, no se puede:
No se puede vulnerar en ningún caso la ley de propiedad intelectual .
@Joviwap - #GHSMad
WTF!!
Ven al lado oscuro!!!
¿Porque es posible el Web Scrapping?Respuesta
HTTP/1.1 200 OKDate: Fri, 31 Dec 2003 23:59:59 GMTContent-Type: text/htmlContent-Length: 1221 ---------------------[Línea en blanco]------------------<html><body><h1>Página principal que quiero leer</h1>(Contenido) . .</body></html>
PeticiónGET /index.html HTTP/1.1 Host: www.example.com User-Agent: nombre-cliente -------------[Línea en blanco]---------------
¿Porque es posible el Web Scrapping?
HTML<html> <head> -------------------- </head> <body> -------------------- </body></html>
@Joviwap - #GHSMad
¿Porque es posible el Web Scrapping?
HTML<html> <head> -------------------- </head> <body> -------------------- </body></html>
@Joviwap - #GHSMad
Métodos de búsqueda de datos
<div class=“articulo” id=“1”> <div class=“titulo”>titulo</div> <div class=“fecha”>16/06/2015</div> <div class=“contenido”>
<p> Parrafo 1 </p><a> Enlace 1 </a><p> Parrafo 2 </p><img> Imagen 1 </img>
</div></div>
@Joviwap - #GHSMad
• Xpath
/div/div/a• Query Selectors
.articulo.titulo• Regex
/(\d\d\/){2}20(\d\d)/gmi
Herramientas
Herramientas
@Joviwap - #GHSMad
Herramienta Offline JS Session Training Speed Parallel API Capcha Price
Import.IO ✓ ✓ ✓ Paid ✓ ✗ Free
Kimono Labs ✓ ✗ ✗ Paid ✓ ✗ Free
WebScrapper ✗ ✗ ✗ − ✗ ✗ ✗ Free
Fminer ✗ ✓ ✓ ✗ ✗ ✓ ≈$200
Request ? ✗ ✗ ✓ ? ? Server
PhantomJS ? ✓ ✓ ✓ ? ? Server
Selenium ? ✓ ✓ − ✓ ? ? Server
@Joviwap - #GHSMad
DEMO TIME!!!!
Preguntas
@Joviwap - #GHSMad
“La potencia sin control no sirve de nada”
@Joviwap - #GHSMad
“La potencia sin control no sirve de nada”automatización
@Joviwap - #GHSMad
“La potencia sin control no sirve de nada”automatización
propósito
@Joviwap - #GHSMad
Gracias!!
@Joviwap - #GHSMad
@Joviwap - #GHSMad
