Diventare famosi con lo stack ELK - Alfonso Iannotta
-
Upload
data-driven-innovation -
Category
Data & Analytics
-
view
21 -
download
2
Transcript of Diventare famosi con lo stack ELK - Alfonso Iannotta
![Page 1: Diventare famosi con lo stack ELK - Alfonso Iannotta](https://reader035.fdocuments.in/reader035/viewer/2022062503/58e52cbf1a28abac7e8b5045/html5/thumbnails/1.jpg)
DIEVENTARE FAMOSI CON LO STACK ELKdi Alfonso Iannotta
![Page 2: Diventare famosi con lo stack ELK - Alfonso Iannotta](https://reader035.fdocuments.in/reader035/viewer/2022062503/58e52cbf1a28abac7e8b5045/html5/thumbnails/2.jpg)
MI PRESENTO:- Laureato in informatica
- Da 20 anni lavoro nell’IT
- Appassionato di tecnologie Open Source
![Page 3: Diventare famosi con lo stack ELK - Alfonso Iannotta](https://reader035.fdocuments.in/reader035/viewer/2022062503/58e52cbf1a28abac7e8b5045/html5/thumbnails/3.jpg)
Curva di apprendimento rapida
Valore aggiunto immediato
Tecnologia open source
RobustoAffidabileEfficiente
TIMELINEPERCHÈ AVRETE SUCCESSO
![Page 4: Diventare famosi con lo stack ELK - Alfonso Iannotta](https://reader035.fdocuments.in/reader035/viewer/2022062503/58e52cbf1a28abac7e8b5045/html5/thumbnails/4.jpg)
COSA È LO STACK ELK
• Ingestion• Parsing
Step 1Title
• Indicizzazione
• Aggregazione
Step 2Title
• Presentazione
Step 3Title
![Page 5: Diventare famosi con lo stack ELK - Alfonso Iannotta](https://reader035.fdocuments.in/reader035/viewer/2022062503/58e52cbf1a28abac7e8b5045/html5/thumbnails/5.jpg)
- Basato su
- Organizzato in Cluster
- Nodi specializzati: Data,Master,Ingestion,Coordinating
- Gestisce dati in formato Json
- Utilizza le Shards blocchi di dati replicati
![Page 6: Diventare famosi con lo stack ELK - Alfonso Iannotta](https://reader035.fdocuments.in/reader035/viewer/2022062503/58e52cbf1a28abac7e8b5045/html5/thumbnails/6.jpg)
- Scritto in jruby- Input Plugin: file, SQL, JMX, EXEC, TCP/UDP …- Filter Plugin: Grock, KV, XML, aggregate, …- Output Plugin: Elasticsearch, Redis, Kafka, …- Information enrichment: GeoIP,
![Page 7: Diventare famosi con lo stack ELK - Alfonso Iannotta](https://reader035.fdocuments.in/reader035/viewer/2022062503/58e52cbf1a28abac7e8b5045/html5/thumbnails/7.jpg)
- Costruisce grafici, tabelle o mappe
- Effettua query su Elasticsearch
- Supporta le Timeseries
- Realtime
- Drill down tramite filtri
![Page 8: Diventare famosi con lo stack ELK - Alfonso Iannotta](https://reader035.fdocuments.in/reader035/viewer/2022062503/58e52cbf1a28abac7e8b5045/html5/thumbnails/8.jpg)
ARCHITETTURA ELKData node Sono i nodi del cluster
su cui risiedono i dati. Master node Sono i nodi che gestiscono
i Data node. Coordinating node Ospitano Kibana, ricevono tutte
le richieste di visualizzazione dei dati.
Ingestion node Sono i nodi che trasportano i dati
nella piattaforma Elasticsearch.
![Page 9: Diventare famosi con lo stack ELK - Alfonso Iannotta](https://reader035.fdocuments.in/reader035/viewer/2022062503/58e52cbf1a28abac7e8b5045/html5/thumbnails/9.jpg)
ECOSISTEMA ELK
- Broker messages:
- Twemproxy (Nutcracker)
- Curator
- Rsyslog
![Page 10: Diventare famosi con lo stack ELK - Alfonso Iannotta](https://reader035.fdocuments.in/reader035/viewer/2022062503/58e52cbf1a28abac7e8b5045/html5/thumbnails/10.jpg)
ELK È UN FRAMEWORK BIG DATA?
Perche si Perche noNon supporta gli algoritmi tipici dei Big Data
• Machine learning• Data mining• Analisi predittive
• Compliant con le 4V di Big Data
• Volume• Velocità• Varietà• Veridicità
Near Real Time
![Page 11: Diventare famosi con lo stack ELK - Alfonso Iannotta](https://reader035.fdocuments.in/reader035/viewer/2022062503/58e52cbf1a28abac7e8b5045/html5/thumbnails/11.jpg)
ELK + HADOOP = ES-HADOOP