Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco -...

Post on 07-Jan-2017

92 views 4 download

Transcript of Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco -...

COMPANY PROFILE

Chi siamo ?in più punti diversi della superficie contemporaneamente.

• CY4GATE è una società italiana che si occupa di cyber intelligence

• Principalmente utilizziamo e sviluppiamo prodotti basati sullo stack ELK (Elasticsearch, Logstash, Kibana) per i nostri compiti di data analysis

Che cosa faremo oggi ?in più punti diversi della superficie contemporaneamente.

• Un laboratorio di programmazione che mostrerà tecnologie nuove per risolvere problemi antichi

• Cercheremo di capire chi traffica stupefacenti all’interno di carichi di caffè

Che cosa faremo oggi ?in più punti diversi della superficie contemporaneamente.

• Caricheremo ed elaboreremo dei dati eterogenei provenienti da diverse fonti di informazioni

• Creeremo delle visualizzazioni che permetteranno all’analista di navigare ed analizzare i dati al meglio

Setup Virtual Machine- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

- Add/Active virtual network in Bridge

- Check the IP address

- Check Kibi Istance- http://xxx.xxx.xxx.xxx:5606

Working Folder- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

- Download logtash- https://download.elastic.co/logstash/logstash/logstash-2.4.1.zip

- Download Working Folder (demo.zip)- Put into /home/codelab- unzip demo.zip

Reference- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

- https://www.elastic.co/guide/en/elasticsearch/reference/2.3/index.html

- https://www.elastic.co/guide/en/logstash/2.4/index.html

- https://docs.siren.solutions/kibi/community/4.5.4/

Step 1a- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

- Index- transport-data-customs- imsi-catcher-coffee- lloyds-data-customs- phone-tapping-padova- phone-tapping-short

Step 1b- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

- Create Index on Kibi

Step 2a- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

- Manage Script upload data

- approdi_trimestre.conf- brogliaccio_intercettazioni.conf- imsi.conf- lloyd_data.conf- shipping_details.conf- tabulato_corto.conf

Step 2b- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

#Analizzare lo schema su Kibi e impostare i tipi corretti all’interno dei script di upload.- Ad esempio:

convert => ["Latitude", "float"]convert => ["Longitude", "float"]

#Creare un campo come tipo di dato Geopoint

#Creare un campo elapsed che esprima in millesecondi la durata dell'evento (telefonata)

Step 2c- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

# Importare il date format ("dd/MM/yyyy HH:mm:ss") e il timezone (UTC,it) per uno specifico campo

# Estrarre sottocampi

Esempi di dashboard

Step 3- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.

• Creazione Join Filter

• Relations between Index Patterns

• Create a new visualization