CapturandoDados Com

PythonTuricas aka Álvaro Justen

UAI Python!29 de agosto de 2015, Belo Horizonte/MG

Turicas, prazer! =){ , , ,

}/turicastwitter.com github.com youtube.com

slideshare.netalvarojusten@gmail.com

turicas.info

E Vocês?Python?Crawling/parsing de dados?Análise/visualização de dados?

Valeu, PUG-MG!o/

bit.ly/uaipython-turicas

RoteiroJornalismo de dadosCaptura de dados

LIVE CODINGNormalização de dados

LIVE CODINGDados abertos, Brasil.IO etc.

Funil de Dados1. Captura: encontrar e baixar2. Normalização: colocar em um formato amigável3. Análise: ver o que tem de bom4. Visualização: mostrar para os leigos

Funil de Dados[2]

4. Visualização: cereja do bolo3. Análise: onde ocorrem os insights2. Normalização: pé no saco1. Captura: pé no saco [2]

Captura + Normalização

WARNING:DANGER ZONE

Captura: APIspip install requestspip install tapioca-facebook

Captura: NemTudo São Flores

pip install splinterpip install scrapy

Normalizaçãopip uninstall beaufitulsoup4pip uninstall lxmlpip install rows

rows0.1.0 hoje (especialmente pra vcs <3)Contribuições são bem-vindas!gihub.com/turicas/rows

Dados AbertosDados Públicos

TransparênciaEmpoderamento

dados.gov.br

5 Stars Data5stardata.info

Linked Datalinkeddata.org

Brasil.IOContribuições são bem-vindas!

github.com/turicas/api.brasil.iogroups.google.com/group/brasil-io

twitter.com/brasil_iofacebook.com/api.brasil.io#Brasil.IO @ irc.FreeNode.net

?

Obrigado! (:Turicas aka Álvaro Justen

{ , , ,}/turicas

twitter.com github.com youtube.comslideshare.net

alvarojusten@gmail.comturicas.info

bit.ly/uaipython-turicas