Netflow Performance

RTFM: Real Time Flow Monitoring

Netflow Do's & Don'ts

Onderzoek naar Netflow en impact op netwerknodes

[email protected]

Netwerk Monitoring met Netflow

Typische toepassing in Large Scale omgevingenOm redenen van:

SecurityAccountability

PlanningTraffic Engineering

...of gewoon voor die extra "schwung" van je

netwerkmanagement..

Is per slot van rekening in potentie pure kunst..!

Agenda● Netflow kenmerken en achtergronden● Varianten en standaardisering● Componenten binnen de Netflow architectuur● Netflow toevoegen in bestaand netwerk (?)● Praktijkonderzoek! Jazeker.., performed het?● Mijn performance-impact meet-methode● Meetresultaten en conclusies● Vragen en discussie

Kenmerken & Achtergronden● Netflow is geen SNMP based “interface-counter

teller” zoals Cricket, Cacti, MRTG, etc.

=

Kenmerken & Achtergronden● Dataflow vs. Flow data (of flow records)

– IP adres afzender– IP adres bestemming– Poort afz.– Poort best.– Laag 3, prot. Type– TOS byte– Logisch inkomende interface

● Flow data: De eigenschappen van de dataflow..Layer 2 en hoger, verpakt in records

Kenmerken & Achtergronden● Founded by Cisco Systems, Inc.● Als toevoeging op routers en switches● Huidige versie Netflow vs.9● Een rfc3954 open -, maar geen Internet

standaard● Flow informatie wordt lokaal geadministreerd● Netflow voegt processing toe● Vs. 9 is template based, records kunnen

gemakkelijk worden uitgebreid

Varianten en standaardisering● sFlow, Foundry Networks● Jflow, Juniper● Netstream, Huawei Technologies● .......● Voornamelijk Netflow afgeleiden● IPFIX: Open standaard! Rfc5101 (status: draft)● Internet Protocol Flow Information eXport● IPFIX is gebaseerd op Netflow v9.

Componenten

Componenten● Vaak UDP tussen Exporter en Collector● IPFIX adviseert: SCTP (en anders UDP of TCP)

Ref, IBM: “Better networking with SCTP”

Netflow toevoegen● Niet bepaald de eerste zorg, wordt als luxe, als

extra beschouwd● Primaire zorg: Syslogging, SNMP, SSH,

backuppen, NTP, AAA, continuiteit van connectiviteit (redundantie-optimalisatie)

● Kandidaat Netflow Netwerkomgevingen zijn vaak al “volwassen”, en daarom soms al flink “loaded”

● (Dure) dedicated hardware probes, of risico's nemen?

Netflow toevoegen

● Info decentraal collecteren met dedicated (= kostbaar) hardware probes?

● Geen totaaloverzicht van netwerkdomein!● --> Schaalt slecht..

Netflow toevoegen● Exporteer naar een centraal punt● “Exporting IP flows using IPFIX”, University of

Oslo, Per Juvhaugen:

Netflow toevoegen● Meest efficient: Bestaande nodes uitbreiden

met Netflow feature support● Onzekerheid over impact extra processing!● Netwerk-performance lastig te vatten:

afhankelijk vh gebruik, van dimensionering of van toegepaste configuraties of..

● Bestaand praktijkonderzoek toont aan:– Uiteraard vendor-afhankelijk en van device internals– Onderzoek CPU impact vs. aantal dataflows

● Maar wat ervaren netwerkgebruikers?

Praktijkonderzoek● Verschilmetingen met Cisco3825● Traffic generators: Iperf, Mgen, Harpoon

Praktijkonderzoek Netflow performance

● Moeilijkheid verschilmeting: Router wint het!

Oplossing: “dure” operaties toevoegen

Meetresultaatroot@Vigor159:~# iperf -c 100.0.0.158 -t 9000 -m -i 2

Client connecting to 100.0.0.158, TCP port 5001

TCP window size: 16.0 KByte (default)

[ 3] local 9.0.0.159 port 43875 connected with 100.0.0.158 port 5001

[ 3] 0.0- 2.0 sec 141 MBytes 593 Mbits/sec




[ 3] 8.0-10.0 sec 123 MBytes 515 Mbits/sec

[ 3] 10.0-12.0 sec 123 MBytes 514 Mbits/sec

-22% Troughput met vs. zonder Netflow16% extra pakketverlies (Iperf UDP meting)

Sampled Netflow● Voor high performance omgevingen● Of omgevingen die low performen..● Mijn verzadigde CPU geeft indicatie v effect:

Future work● Real-life testing met Harpoon● Router/routing performance is enorm

dynamisch

Conclusies● Security-, Cap. Planning-, Accountability tooling

nodig?● Netflow en IPFIX beiden flexibel en

'multipurpose'● Performance Impact is te overzien, common

sense● Exporten out-of-band toepassen● Pas op met NAT in core omgevingen ;-)● Praktijk-dynamiek simuleren blijft een uitdaging

Vragen en discussies● ?● !● ?● !● ?● !● Na LIA geen os3 onderzoek meer .. :-(

Netflow Performance

Technology

Transcript of Netflow Performance