CapturandoDados Com
PythonTuricas aka Álvaro Justen
UAI Python!29 de agosto de 2015, Belo Horizonte/MG
Turicas, prazer! =){ , , ,
}/turicastwitter.com github.com youtube.com
turicas.info
E Vocês?Python?Crawling/parsing de dados?Análise/visualização de dados?
Valeu, PUG-MG!o/
bit.ly/uaipython-turicas
RoteiroJornalismo de dadosCaptura de dados
LIVE CODINGNormalização de dados
LIVE CODINGDados abertos, Brasil.IO etc.
Funil de Dados1. Captura: encontrar e baixar2. Normalização: colocar em um formato amigável3. Análise: ver o que tem de bom4. Visualização: mostrar para os leigos
Funil de Dados[2]
4. Visualização: cereja do bolo3. Análise: onde ocorrem os insights2. Normalização: pé no saco1. Captura: pé no saco [2]
Captura + Normalização
WARNING:DANGER ZONE
Captura: APIspip install requestspip install tapioca-facebook
Captura: NemTudo São Flores
pip install splinterpip install scrapy
Normalizaçãopip uninstall beaufitulsoup4pip uninstall lxmlpip install rows
rows0.1.0 hoje (especialmente pra vcs <3)Contribuições são bem-vindas!gihub.com/turicas/rows
5 Stars Data5stardata.info
Linked Datalinkeddata.org
Brasil.IOContribuições são bem-vindas!
github.com/turicas/api.brasil.iogroups.google.com/group/brasil-io
twitter.com/brasil_iofacebook.com/api.brasil.io#Brasil.IO @ irc.FreeNode.net
?
Obrigado! (:Turicas aka Álvaro Justen
{ , , ,}/turicas
twitter.com github.com youtube.comslideshare.net
bit.ly/uaipython-turicas
Top Related