Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla...

28
1 Benemérita Universidad Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López [email protected]

Transcript of Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla...

Page 1: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

1

Benemérita Universidad Autónoma de Puebla

Facultad de Ciencias de la Computación

Minería de Datos

Arturo Olvera Ló[email protected]

Page 2: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

63

Data Warehouse and OLAP

Page 3: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

64

Data Warehouse

Page 4: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

65

OLTP, OLAP

Page 5: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

66

Arquitectura DWH

Page 6: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

67

Data Warehousing

Page 7: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

68

Data Warehouse

� Con base a la arquitectura:

– Enterprise– Datamart– Virtual

Page 8: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

69

Enfoque recomendado DWH

� Incremental

� Evolutivo

� -> Espiral

Page 9: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

70

Multidimensional Data Model

Page 10: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

71

Multidimensional Data Model

� 4-D data cube

� Datos n-dimensionales -> serie de cubos n-1 dimensionales

� Cuboide: Cubos de al menos 3 dimensiones

Page 11: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

72

Lattice

Page 12: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

73

Paradigmas DWH

Page 13: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

74

Star

Page 14: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

75

Snowflake

Page 15: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

76

Fact constellation / Galaxy

Page 16: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

77

Jerarquía de Conceptos

Page 17: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

78

Jerarquía de conceptos

Page 18: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

79

Multidimensional Query

Starnet Model

Page 19: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

80

Operaciones OLAP

Page 20: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

81

Curse of dimensionality

Page 21: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

82

Indexing OLAP data

� Bitmap index

� Join index

Page 22: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

83

Data Warehouse Applications

Page 23: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

84

OLAP ���� OLAM

Page 24: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

85

Herramientas OLAP

� Back-End:

– Informatica– Oracle– DataJunction

� Multi dimensional Enginees:

– Arbor ESSbase– SAS

� Query OLAP reporting:

– Brio

– Business Objects

– Crystal Reports

Page 25: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

86

Herramientas OLAP

Page 26: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

87

KDNUGGETS

http://www.kdnuggets.com/

Page 27: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

88

Cálculo de cubos de datos

Page 28: Minería de Datos Arturo Olvera Lópezaolvera/MD/Ot2015/DiapIII-MDatos.pdf · Autónoma de Puebla Facultad de Ciencias de la Computación Minería de Datos Arturo Olvera López aolvera@cs.buap.mx.

89

Métodos eficientes

� BUCMinimun support =33

(a1,*,*,*)

(a1,b1,*,*)

Sup. No satisface umbral

Árbol