Datenanalyse mitIPython und Pandas

Dirk Loss, 2013-05-02

Tim O'Reilly

„Data Scientist is now the hottest job title in Silicon Valley.“

http://upload.wikimedia.org/wikipedia/commons/thumb/d/d6/Tim_O%27Reilly.jpg/220px-Tim_O%27Reilly.jpg

• Performance-Messungen• Logdateien• Netzwerktraffic• Source-Code Repositories• ...

Daten Fokus: „Small/Medium Data“

Pandas„Manipulation und Analyse mehrdimensionaler Daten“

Time series Statistics Aggregation

Missing values Hierarchical indexes

IPython

http://ipython.org

„Interaktive Python-Arbeitsumgebung“

IPython Notebook

console qtconsole notebook

kernel

ZeroMQIPython

DemoIPython

http://nbviewer.ipython.org

http://ipython.org/sloan-grant.html

DemoPandas

http://qwafafew.org/images/uploads/PANDAS_20120423.pdf

Pandas DataFrame

Indexing in Python

s =

s[0] == “H“

s[4] == “o“

s[-1] == “t“

s[41] => IndexError

s[-12] => IndexError

Slicing in Python

s =

s[2:5] == “llo“

s[6:] == “Welt“

s[-3:] == “elt“

s[4:-5] == “o“

s[5:2] == ““

s[6:10000] == “Welt“

http://www.sintef.no/project/eVITAmeeting/2013/1301_scipy_ipython.pdf

Weiterführende Infos

IPython Videos

IPython Beispiel-Notebooks

10-Minuten pandas Überblick

http://vimeo.com/59324550

35-Minuten pandas Vortrag

http://vimeo.com/63295598

3-Stunden IPython und Pandas

http://www.youtube.com/watch?v=w26x-z-BdWQ

• IPython als Arbeitsumgebung(nicht nur für Python)

• Pandas für die Datenanalyse(insbesondere für Zeitreihen)

Fazit

Dokumentation

ipython.orgpandas.pydata.org

nbviewer.ipython.org

matplotlib.orgsympy.org

Installation unter Ubuntu

• sudo apt-get install ipython-notebook

• sudo apt-get installpython-pandaspython-matplotlib python-scipypython-sympypython-nose