Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud -...

23
Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

Transcript of Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud -...

Page 1: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

Point Cloud - Erfahrungen mit PostgreSQL und Big Data

8. November 2013

Prof. Stefan Keller

Page 2: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

PointCloud - Postgres Extension! (1.11.13 Zoo Rapperswil)

Pointcloud... - Prof. Stefan Keller, Geometa Lab HSR PGConf.DE 8.11.13 2

Page 3: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

Pointcloud Extension

●PostgreSQL extension for storing point cloud data

●https://github.com/pramsey/pointcloud

●Datentypen und Funktionen

●Hintergrund

●Von Paul Ramsey 2013, boundlessgeo.com

●>5 Monate Entwicklungszeit

●Finanziert von Natural Resources Canada

Page 4: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

Was ist Point Cloud?

Page 5: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

Point Cloud = LIDAR-Daten

●Mehrdim. Daten von LIDAR-Sensoren

●LIDAR: „Light Detection and Ranging“

●Grosse Datenmengen innert kürzester Zeit

●z.B. 500 GB in 15 min. (LAS-Format)

Credits: http://resources.arcgis.com/

Page 6: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

LIDAR ff.

Page 7: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

The LIDAR Elephant

Pointcloud... - Prof. Stefan Keller, Geometa Lab HSR PGConf.DE 8.11.13 7

Page 8: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

LIDAR Daten

(X, Y, Z, Intensity,

ReturnNumber,

NumberOfReturns,

Classification,

ScanAngleRank, Red,

Green, Blue)

Page 9: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

Warum ein eigener Datentyp?

Page 10: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

PcPoint(pcid)PcPatch(pcid)

Page 11: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

Pointcloud Extension

● PcPatch ist eine Collection von

● ... PcPoint

● ... beschrieben in einem XML Schema

● ... gespeichert in Tabelle pointcloud_formats (und View pointcloud_columns)

● ... verknüpft mit pcid

Page 12: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

pointcloud Extension

Page 13: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

pointcloud Extension

Page 14: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

pointcloud Extension

Page 15: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

pointcloud Extension

Page 16: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

pointcloud Extension

Page 17: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

Benchmark it!

● Load

– No compression, compression● Query BBox

– Bbox size: 200m x 200m, 400m x, 600m x, 800m x, 1000m x

● Query BBox w/Filter

– BBox as above– WHERE elevation ('Z') > 1800

Page 18: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

Benchmark Load

1 2 3 4 5 6 70

50

100

150

200

250

Compression: None

Column E

Patch size

Time (sec)

Page 19: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

Benchmark Query BBox

1 2 3 4 50

5

10

15

20

25

30

Query time - bounding box

Column E

Query size (metres)

Time (sec)

Page 20: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

Benchmark Query BBox w/Filter

1 2 3 4 50

5

10

15

20

25

30

35

40

45

Query time - bounding box w/ filter

Column E

Query size (metres)

Time (sec)

Page 21: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

Zusammenfassung

● ...

?

Page 22: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

Kontakt

Prof. Stefan KellerGeometa Lab at Institute for SoftwareUniversity of Applied Sciences Rapperswil Oberseestrasse 10 CH-8640 Rapperswil (Switzerland)

Web www.gis.hsr.chE-Mail sfkeller(at)hsr.chTwitter @sfkeller

Pointcloud... - Prof. Stefan Keller, Geometa Lab HSR PGConf.DE 8.11.13 22

Page 23: Point Cloud - Erfahrungen mit PostgreSQL und Big Data 8 ... · PDF filePoint Cloud - Erfahrungen mit PostgreSQL und Big Data 8. November 2013 Prof. Stefan Keller

xxx

●xxx