perfSONAR  Update:  Be1er  monitoring  =  Be1er  networks  

 

Brian  Tierney  ESnet  

Internet2  Global  Summit  April  29,  2015  

perfSONAR  Toolkit  3.5:  What’s  Coming  Next?  

Themes  

•  Support  for  central  host  management  and  node  auto-­‐configuraTon  

•  Support  for  low  cost  nodes  •  Support  for  Debian,  VMs,  and  other  installaTon  opTons  

•  Modernize  the  GUIs    Timeline:  –  rc1    in  July:    – final  release  in  September  

April  28,  2015  ©  2014,  h1p://www.perfsonar.net   3  

Expanded  perfSONAR  Use  Cases  •  Current  Use  Case  – perfSONAR  Toolkit  

•  Includes  CentOS  6  and  all  perfSONAR  components  

•  New  Use  Cases  – perfSONAR  tools  only  

•  Support  for  both  RHEL-­‐based  and  Debian-­‐based  hosts  – perfSONAR  hosts  that  are  centrally  managed  – perfSONAR  hosts  that  ‘self-­‐configure’  – NDT  only  host  

April  28,  2015  ©  2014,  h1p://www.perfsonar.net   4  

Current  perfSONAR  components  •  Measurement  tools  

–  iperf3,  bwctl,  owamp,  traceroute,  etc.  •  Measurement  archive  •  Central  test  mesh  management  tools  •  Host  management  tools  

–  Configure  tests,  configure  NTP,  etc.  •  Data  analysis  tools  

–  Plot  data  from  the  archive  –  Dashboard  tools  

•  Lookup  Service  Note:  perfSONAR  measurement  tools  are  extremely  useful  for  troubleshoo8ng  on  their  own.  

April  28,  2015  ©  2014,  h1p://www.perfsonar.net   5  

User  Interface  Refresh  •  The  toolkit  provides  an  easy  to  use  web  interface  targeted  at  

users  at  a  variety  of  levels  of  technical  experTse.  

April  28,  2015  ©  2014,  h1p://www.perfsonar.net   6  

•  We  intend  to  refresh  this  UI  in  the  3.5  release  to  improve  easy  of  use,  visual  appeal,  and  integraTon  of  state  of  the  art  UI  components  to  extend  UI  lifespan.  

New  Management  Interface  

April  28,  2015  ©  2014,  h1p://www.perfsonar.net   7  

Updated  psUI  from  GEANT  

April  28,  2015  ©  2015,  h1p://www.perfsonar.net   8  

Improving  Efficiency  and  Consistency  

•  perfSONAR  is  a  very  acTve  project,  with  a  conTnuous  development  cycle.      

•  We  want  to  spend  less  Tme  building  and  tesTng  and  more  Tme  developing  cool  new  features  while  maintaining/enhancing  quality  of  each  release!  

•  Enable  this  by  focusing  on:  – Automated  build  and  release  management  systems  –  ConTnuous  integraTon  of  code,  including  automated  unit  and  system  tesTng.  

April  28,  2015  ©  2014,  h1p://www.perfsonar.net   9  

Improved  Support  for  Central  Management  

•  Goals:  – Make  it  easy  to  incorporate  perfSONAR  hosts  into  exisTng  host  management  systems  (puppet,  chef,  SaltStack,  cfengine,  etc.)  

– Make  it  easy  to  manage  many  perfSONAR  hosts  at  a  single  insTtuTon  

– New  rpm  bundles  to  support  this  

April  28,  2015  ©  2014,  h1p://www.perfsonar.net   10  

Test  Node  Auto-­‐ConfiguraTon  

•  Goal:  Support  a  perfSONAR  node  that  will  require  zero  configuraTon  

•  Site  will  register  in  the  lookup  service:  – What  hosts  to  run  tests  to  – Where  to  send  the  test  results  

•  Assumes  DHCP  to  get  node  address  •  Primary  use  case  is  for  sites  with  several  nodes  

April  28,  2015  ©  2014,  h1p://www.perfsonar.net   11  

BWCTL  2.0  •  Goals  –  Easy  to  write  new  clients  –  Easy  to  add  new  tools  –  Support  new  features  

•  Ability  to  “Pause”  tests  •  Ability  to  set  test  priority  (move  my  test  to  the  head  of  the  queue)  •  Work  without  NTP  sync  •  Restrict  tesTng  by  Tme  interval  

–  E.g.:  only  between  11pm  and  6am  •  More  fine-­‐grained  test  limits  

–  Per-­‐user  tesTng  rate,  per  subnet  test  rate,  etc.  –  Decrease  the  number  of  ports  that  need  opened  –  Easier  to  read/modify  codebase  –  Backward  compaTble  with  bwctl  1.x  

April  28,  2015  ©  2015,  h1p://www.perfsonar.net   12  

perfSONAR  for  Network  Researchers  

•  Vast  amount  of  acTve  measurement  of  interest  to  network  researchers  – perfSONAR  Toolkit  automaTcally  collects  traceroute  data  along  with  bwctl/owamp  results  

•  New  tool  makes  it  easy  to  download  data  from  perfSONAR  measurement  archives  for  analysis  – esmond-­‐ps-­‐get-­‐bulk  

•  Output  CSV  or  JSON  •  See:  h1ps://testpypi.python.org/pypi/esmond_client  

April  28,  2015  ©  2014,  h1p://www.perfsonar.net   13  

Low  Cost  Nodes  

•  Lots  of  effort  in  the  community  to  operate  perfSONAR  services  on  low  cost  ($100-­‐$200)  hardware  

•  High  level  of  interest  in  community  for  low-­‐cost  deployment  opTons  (wiring  closets,  network  engineer’s  backpacks,  “give-­‐away”  nodes,  etc.)  

•  Want  to  provide  a  well  supported  and  tested  opTon  for  these  users  as  part  of  pS-­‐Toolkit  

•  More  details  in  next  talk.  

April  28,  2015  ©  2014,  h1p://www.perfsonar.net   14  

Also…  

•  Modernize  NDT,  including  new  UI  •  Improve  integraTon  with  NOC  alarming  systems  

•  Formal  security  review  for  all  components  

April  28,  2015  ©  2014,  h1p://www.perfsonar.net   15  

Useful  URLs  

•  h1p://docs.perfsonar.net/  •  h1ps://www.perfsonar.net/  •  h1p://fasterdata.es.net/  – h1p://fasterdata.es.net/performance-­‐tesTng/network-­‐troubleshooTng-­‐tools/  

•  h1ps://github.com/perfsonar  – h1ps://github.com/perfsonar/project/wiki  

April  28,  2015  ©  2014,  h1p://www.perfsonar.net   16