Web Scraping
-
Upload
fabricio-rissetto -
Category
Software
-
view
87 -
download
1
Transcript of Web Scraping
Evandro Souza
Web Scraping
O que é?
Web harvesting
Web data-extraction
Web crawler
Web Spider Robot
Knowbot
Web Scraping
O que é?
Web harvesting
Web data-extraction
Web crawler
Web Spider Robot
Knowbot
Web Scraping
Técnica para mapear\rastrear informações de web sites.Objetivos: • Navegar em páginas web de forma automatizada.• Mapeia todos os links das URLs recursivamente.• Utilizado normalmente em “motores de busca”.
Técnica para extrair informações de web sites.
Web scraping - Para que serve?• Transformar dados de web sites em estrutura de dados.
• Automatizar tarefas em web sites (simular um usuário)
Qualquer aplicação que necessite de dados extraidos de web sites:
Pesquisas academicas, marketing e ciêntifica
Análise de Mercado
Comparação de preços
Data mining
Casos de uso
Ferramentas
FiddlerFirefox\Chrome Dev tools
ConhecimentosRegular Expression XPath
Necessidadehttps://www.jucerja.rj.gov.br/JucerjaPortalWeb/Paginas/Informacoes/TabelaPrecosPWJ.aspx
Análise
• Fiddler• Dev Tools
Extrair HTML
• Requisições HTTP
Transformar
• HTML Parser• XPath• Regex
Os 3 passos
Exemplos C#HttpWebRequest/HttpWebResponse + Html Agility pack
Exemplos C#HttpWebRequest/HttpWebResponse + Html Agility pack
Exemplos C#HttpWebRequest/HttpWebResponse + Html Agility pack
Exemplos C#Scrapy Sharp
Exemplos C#Scrapy Sharp
Exemplos C#Scrapy Sharp
Exemplos C#HttpWebRequest/HttpWebResponse + AngleSharp
Obrigado!evandroferreiras
evandroferreiras
evandroferreiras