Your Time Is Now - cisco.com · Проблемы, которые решаются с помощью...

Your TimeIs Now

Расширенные возможности IOS и IOS-XE для поиска и устранения неисправностейДмитрий Леонтьев

инженер технической поддержки

2© 2018 Cisco and/or its affiliates. All rights reserved.

Тема

СпикерДолжность

Классификация проблем

© 2018 Cisco and/or its affiliates. All rights reserved. 4

Проблемы, которые решаются с помощью Cisco TAC• Утечки памяти

• Определение причины крэша

• Аппаратный отказ• Анализ системных сообщений

• Отсутствие функционала


Проблемы, которые можно решить самостоятельно• Высокая загрузка процессора

• Потери пакетов

• Ошибки в конфигурации• Снижение производительности

• Нестабильная работа виртуальных соединений

• Анализ системных сообщений

• Конфигурирование устройства


Основы траблшутинга


Этапы проведения траблшутинга


Нормальнаяработа?

Известныйсимптом?

Известнаяпричина?

Поискпричины Поисксимптома

Устранениепроблемы

Проблемаустранена?

стоп

нет

нет

нет

да

да

да

да

нет

Архитектура маршрутизаторов


Устройства, передающие пакеты с помощью центрального процессора


Архитектура маршрутизаторов семейства ISR G1 (Cisco 2800, Cisco 3800), семейства ISR G2 (Cisco 2900, Cisco 3900),маршрутизаторов серии Cisco 7200 и т.д.

PowerSupply

CPU

ROM RAM

Flash BusInterface

Interface Interface

NVRAM

NetworkController

NetworkController

InterfaceNetworkController

SystemBus

Устройства, передающие пакеты с помощью специализированных процессоров


Архитектура маршрутизаторов серии ASR 1000

Route Processor (standby)

RP

Interconn.

Embedded ServicesProcessor(active)

FECP

Interconn.

QFP subsys-tem

Crypto assist

Embedded ServicesProcessor(standby)

FECP

Interconn.

QFP subsystemCrypto

assist

SPASPA

IOCPSPA Agg.

…

Interconn.

SPASPA

IOCPSPA Agg.

…

Interconn.

SPASPA

IOCPSPA Agg.

…

Interconn.

Passive Midplane

Route Processor

(active)

RP

Interconn.

SIPs

Потери входящих пакетов


Проверка потери пакетовПросмотр статистики на интерфейсах:Router#show interfaces

GigabitEthernet0/1 is up, line protocol is up

...

Input queue: 0/75/25350/0 (size/max/drops/flushes); Total output drops: 0

Queueing strategy: Class-based queueing

Output queue: 0/1000/0 (size/max total/drops)

5 minute input rate 53272000 bits/sec, 13620 packets/sec

5 minute output rate 95490000 bits/sec, 16657 packets/sec

Уменьшение интервала вычисление статистики на интерфейсах:Router(config-if)#load-interval 30


Потеря входящих пакетовПричина потери приходящих пакетов чаще всего связана с проблемами с внутренними ресурсами устройства, которое по тем или иным причинам не успевает обрабатывать приходящие пакеты.Варианты решения проблемы:• Устранить проблемы с загрузкой внутренних компонентов• Увеличить размер очереди для приходящих пакетов

Router(config-if)#hold-queue ?

<0-240000> Queue length

Удалить статистику с интерфейсов после изменения размера очередиRouter#clear counters gigabitEthernet 0/0/0

Clear "show interface" counters on this interface [confirm]


Причины Input errors и Overrun на ASR1000TenGigabitEthernet0/1/0 is up, line protocol is up

...

Input queue: 0/375/0/0 (size/max/drops/flushes); Total output drops: 0

Queueing strategy: fifo Output queue: 0/40 (size/max)

5 minute input rate 6281191000 bits/sec, 927759 packets/sec

5 minute output rate 6552635000 bits/sec, 991723 packets/sec

2739070738313 packets input, 2309716465895527 bytes, 0 no buffer

Received 12 broadcasts (0 IP multicasts)

0 runts, 0 giants, 0 throttles

9439290 input errors, 0 CRC, 0 frame, 9439290 overrun, 0 ignored


Проверка загрузки процессораRouter#show process cpu history

...

111111111111111111111111111111111111111111111111111111111111111111111111

100

90

80

70

60

50

40

30

20

10

0....5....1....1....2....2....3....3....4....4....5....5....6....6....7..

0 5 0 5 0 5 0 5 0 5 0 5 0 CPU% per hour (last 72 hours)

* = maximum CPU% # = average CPU%


Проверка загруженности QFPRouter#show platform hardware qfp active datapath utilization qfp 0

CPP 0: Subdev 0 5 secs 1 min 5 min 60 min

Input: Priority (pps) 1 2 2 2

(bps) 1328 2456 2600 2592

Non-Priority (pps) 1565455 1548418 1537575 1579971

(bps) 10211966456 10092549384 9995467136 10417804608

Total (pps) 1565456 1548420 1537577 1579973

(bps) 10211967784 10092551840 9995469736 10417807200

Output: Priority (pps) 0 0 0 0

(bps) 448 288 288 280

Non-Priority (pps) 1554012 1536990 1526164 1568631

(bps) 10201379664 10082326672 9985229536 10407201256

Total (pps) 1554012 1536990 1526164 1568631

(bps) 10201380112 10082326960 9985229824 10407201536

Processing: Load (pct) 33 32 32 33


Решение проблемы с OverrunНа ESP пакеты уходят с шины в General Packet memory (GPM). Эта память разделена на равные части, привязанных к 16 возможным источникам трафика (input FIFO). Для SPA выделено два канала, низкоприоритетный канал и высокоприоритетный канал. Низкоприоритетному каналу выделено 18.27% GPM и высокоприоритетному каналу выделено 19.24% GPM.

Если пакеты покидают шину, но при этом нет свободного места в GPM, то в этом случае для модуля SPA передается команда удерживать пакеты в буферах на SPA. Если свободное место в буферах закончилось, то в этом случае наблюдаются потери пакетов вида overrun. Пакеты начинают отбрасываться когда GPM израсходована, а SPA передана команда придерживать пакеты. Все это происходит когда загрузка QFP далека от 100%, потому что свободные ресурсы заканчиваются у GPM.

Устранить проблему можно путем использования обеих частей GPM –низкоприоритетной и высокоприоритетной. По умолчанию Ethernet пакеты, с маркировкой CoS 6 и 7, считаются высокоприоритетными.


Потери пакетов на QFPRouter#show platform hardware qfp active statistics drop

-------------------------------------------------------------------------

Global Drop Stats Packets Octets

-------------------------------------------------------------------------

Disabled 13 978

ForUs 39 24849

IpTtlExceeded 492 45165

Ipv4Acl 23231 2625104

Ipv4NoAdj 154710 8595744

Ipv4NoRoute 12 872

Ipv4RoutingErr 7 392

NatOut2in 49537 3071294

QosPolicing 267 166080

Unresolved 41 3378


Механизм IOS-XE Datapath Packet Trace

Cisco добавила механизм packet trace в операционную систему Cisco IOS-XE, начиная с версии 3.11S (15.4(1)S) и последующие. Поддерживается на маршрутизаторах, работающих под управлением операционной системы Cisco IOS-XE, таких как Cisco 1000 Series Aggregation Services Routers (ASR1K), виртуальный маршрутизатор Cisco 1000V Series Cloud Services Router (CSR1000v) и Cisco 4451-X Series Integrated Services Router (ISR4451-X).Чтобы проанализировать путь передачи пакетов на ASR1K необходимо:• Активировать platform conditional debug, чтобы выбрать пакеты или трафик, который

нужно проверить;• Активировать platform packet trace (path-trace или Feature Invocation Array (FIA)).

https://www.cisco.com/c/en/us/support/docs/content-networking/adaptive-session-redundancy-asr/117858-technote-asr-00.html


Определение идентификатора потери пакетаRouter#show platform hardware qfp active statistics drop detail

--------------------------------------------------------------------------------

ID Global Drop Stats Packets Octets

--------------------------------------------------------------------------------

60 IpTtlExceeded 4 416

8 Ipv4Acl 334 33672

92 Ipv4NoAdj 20 2348

19 Ipv4NoRoute 9 728

68 NatOut2in 3571 221402

20 QosPolicing 3 1782


Пример конфигурирования механизма Packet TraceRouter#debug platform packet-trace enable

Router#debug platform packet-trace packet 128 fia-trace data-size 2048

Router#debug platform packet-trace copy packet both size 2048 L2

Router#debug platform packet-trace drop code 68

Router#debug platform condition ipv4 both

Router#debug platform condition start

Router#debug platform condition stop

Router#show platform packet-trace packet all


Анализ результатов работы Packet TracePacket: 0 CBUG ID: 7010196

Summary

Input : GigabitEthernet1/1/1.1341

Output : GigabitEthernet1/1/1.1341

State : DROP 68 (NatOut2in)

Timestamp

Start : 1022626719296956 ns (03/18/2018 04:03:03.800053 UTC)

Stop : 1022626719400712 ns (03/18/2018 04:03:03.800156 UTC)

Path Trace

Feature: IPV4

Source : 172.16.15.116

Destination : 172.16.16.198

Protocol : 6 (TCP)

SrcPort : 135

DstPort : 4575


Анализ результатов работы Packet TraceFeature: FIA_TRACE

Entry : 0x8a005aec - DEBUG_COND_INPUT_PKTLapsed time: 462 ns

Feature: FIA_TRACEEntry : 0x8a005dac - IPV4_INPUT_SRC_LOOKUP_ISSUELapsed time: 88 ns

Feature: FIA_TRACEEntry : 0x8a005ab8 - IPV4_INPUT_DST_LOOKUP_CONSUMELapsed time: 320 ns

Feature: FIA_TRACEEntry : 0x8a005dbc - IPV4_INPUT_ACLLapsed time: 1422 ns

Feature: FIA_TRACEEntry : 0x8a005dc0 - IPV4_INPUT_SRC_LOOKUP_CONSUMELapsed time: 231 ns

Feature: FIA_TRACEEntry : 0x8a005abc - IPV4_INPUT_FOR_US_MARTIANLapsed time: 106 ns

Feature: FIA_TRACEEntry : 0x8a005dec - IPV4_INPUT_FNF_FIRSTLapsed time: 3431 ns

Feature: FIA_TRACEEntry : 0x8a005e4c - IPV4_INPUT_VFRLapsed time: 124 ns


Анализ результатов работы Packet TraceFeature: ALG PARSER

Type : MSRPC ALGCaller : NATAction : DROP

Feature: NATDirection : IN to OUTAction : DropSub-code : 007 - PARSE_ERR

Feature: FIA_TRACEEntry : 0x8a01966c - STILE_LEGACY_DROPLapsed time: 497 ns

Feature: FIA_TRACEEntry : 0x8a0176cc - INGRESS_MMA_LOOKUP_DROPLapsed time: 355 ns

Feature: FIA_TRACEEntry : 0x8a013378 - INPUT_DROP_FNF_AORLapsed time: 1244 ns

Feature: FIA_TRACEEntry : 0x8a00a994 - INPUT_FNF_DROPLapsed time: 13280 ns

Feature: FIA_TRACEEntry : 0x8a01337c - INPUT_DROP_FNF_AOR_RELEASELapsed time: 1368 ns

Feature: FIA_TRACEEntry : 0x8a006444 - INPUT_DROPLapsed time: 71 ns

Feature: FIA_TRACEEntry : 0x8a005e74 - IPV4_NAT_INPUT_FIALapsed time: 85493 ns



NetflowBGPAccountingNBARClassifyMQCClassify

LIFirewall/IDS/Proxy

SecurityACLRPF

MQCMarking

MQCPolicingMACAccountingPrec.Accounting

NATPBRWCCP

ServerLBDialerIDLERst

URD

Firewall/CBACTCPInterceptMQCMarkingIPAccounting

RSVPMQCPolicing

MACAccountingPrecAccounting

URDIPFrag

NetflowFirewall/IDS/Proxy

WCCPNAT

NBARClassifyBGPAccounting

LICrypto

MQCClassifyFWACL&PregenCheck

SecurityACLWREDQueuing

FF

F

F

F

Forwarding

• IPUnicast• Loadbalancing• IPMulticast• MPLSImposit.• MPLSDispos.• MPLSSwitch.• FRR• AToMDispos.• MPLSoGRE

L2/L3Classify

IPv4Validation

IPv6 IPv4 MPLS XConnect L2Switch

Проблемы передачи пакетов между компонентами маршрутизатора


Устройства, передающие пакеты с помощью специализированных процессоров


Архитектура маршрутизаторов серии ASR 1000

Route Processor (standby)

RP

Interconn.

Embedded ServicesProcessor(active)

FECP

Interconn.

QFP subsys-tem

Crypto assist

Embedded ServicesProcessor(standby)

FECP

Interconn.

QFP subsystemCrypto

assist

SPASPA

IOCPSPA Agg.

…

Interconn.

SPASPA

IOCPSPA Agg.

…

Interconn.

SPASPA

IOCPSPA Agg.

…

Interconn.

Passive Midplane

Route Processor

(active)

RP

Interconn.

SIPs

Проверка взаимодействия модулей ASR1000 (Serial Bridge ESI link)Router#show platform hardware slot f1 serdes status brief Slot F1 0,0 Locked -> Slot R1 0,2 Locked Link A 0,1 Locked -> Slot R0 0,2 Locked Link A 0,2 Locked -> Slot F0 0,2 Locked Link A 1,0 Locked -> Slot 3 0,2 Locked Link A 1,1 Locked -> Slot 2 0,2 Locked Link A 1,2 Locked -> Slot 1 0,2 Locked Link A 1,3 Locked -> Slot 0 0,2 Locked Link A 1,5 Locked -> Slot 5 0,2 Locked Link A 1,6 Locked -> Slot 0 0,3 Locked Link B 1,7 Locked -> Slot 1 0,3 Locked Link B

Router#show platform hardware slot 2 serdes status brief Slot 2 0,0 Locked -> Slot F0 1,1 Locked Link A 0,2 Locked -> Slot F1 1,1 Locked Link A


Проверка взаимодействия модулей ASR1000Router#show platform hardware slot f1 serdes statusSlot 2-Link A RX link locked 58-bit scrambler, 100 Gbps0 Overruns, 0 Underruns 292 Reframe, 0 Disparity 0 Out of band, 42034281 Illegal control codes

Router#show platform hardware slot 2 serdes status Slot F0-Link A RX link locked 58-bit scrambler, 100 Gbps0 Overruns, 0 Underruns 0 Reframe, 0 Disparity 0 Out of band, 0 Illegal control codes

Slot F1-Link A RX link locked 58-bit scrambler, 100 Gbps0 Overruns, 0 Underruns 332 Reframe, 0 Disparity 753 Out of band, 1413 Illegal control codes


Потери исходящих пакетов


Причины потери пакетов при отправке

Потери исходящих пакетов происходят из-за перегруженности интерфейсов. Это может произойти, например, если скорость поступления пакетов выше чем возможности исходящего интерфейса, который не может принять все пакеты, которые будут отправлены через него. Самое надежное решение в такой ситуации – это увеличить пропускную способность физической линии.

Однако, в большинстве случаев это сделать невозможно. В этой ситуации необходимо предотвращать, уменьшать или контролировать потери исходящих пакетов. Можно предотвратить потери исходящих пакетов в том случае, если увеличение их количество происходит кратковременно. Если потери пакетов вызваны происходят из-за постоянного высокого уровня передаваемого трафика, то в этом случае невозможно предотвратить потери пакетов.


Проверка потери пакетовRouter>show interface g0/0/0GigabitEthernet0/0/0 is up, line protocol is upMTU 1500 bytes, BW 100000 Kbit/sec, DLY 100 usec,

reliability 255/255, txload 1/255, rxload 1/255Input queue: 0/375/0/0 (size/max/drops/flushes); Total output

drops: 178165Queueing strategy: Class-based queueingOutput queue: 0/40 (size/max)5 minute input rate 5000 bits/sec, 2 packets/sec5 minute output rate 9000 bits/sec, 4 packets/sec856504 packets output, 488952289 bytes, 0 underruns

0 output errors, 0 collisions, 1 interface resets0 unknown protocol drops0 babbles, 0 late collision, 0 deferred0 lost carrier, 0 no carrier, 0 pause output0 output buffer failures, 0 output buffers swapped out


Проверка работы QoS на интерфейсе


BRVIX-ZRH1#sh policy-map int g0/0/0Class-map: class-default (match-any) 643042 packets, 345960498 bytes 5 minute offered rate 6000 bps, drop rate 0000 bps Match: any Queueing queue limit 64 packets(queue depth/total drops/no-buffer drops) 0/178165/0 (pkts output/bytes output) 447171/191473902 bandwidth remaining 9% police:

rate 9 % rate 180000 bps, burst 5625 bytes, peak-burst 5625 bytes

conformed 382611 packets, 100736692 bytes; actions: set-dscp-transmit default

exceeded 8640 packets, 6046644 bytes; actions: transmit

violated 251791 packets, 239177162 bytes; actions: transmit

conformed 3000 bps, exceeded 0000 bps, violated 0000 bps

Встроенный менеджер событий


Embedded Event ManagerEEM (Embedded Event Manager) – встроенный компонент операционных систем Cisco IOS, XE, XR и NX-OS, который облегчает жизнь администратора, позволяя отслеживать и классифицировать события, которые происходят на устройствах, а также обеспечивать уведомления для этих событий. EEM позволяет автоматизировать задачи, выполнять расширения и создавать обходные маршруты решения проблем.

EEM использует детекторы событий и выполняет действия для уведомления об этих событиях.

https://supportforums.cisco.com/document/117596/cisco-eem-basic-overview-and-sample-configurations


Детекторы событий Embedded Event Manager• SNMP – мониторинг объектов SNMP.

• Syslog – реагирует на появление различных сообщений syslog, при этом можно использовать регулярные выражения для поиска совпадений.

• Counter (счетчик) – мониторит и реагирует на превышение значений счетчиков на интерфейсах.

• События CLI – отслеживается CLI ввод с помощью регулярных выражений.

• None – этот детектор событий используется для тестирования скриптов EEM с помощью команды "event manager run".

• Timers (таймеры) - (Countdown, watchdog и CRON)• События IP SLA и Netflow.


Действия Embedded Event Manager

• Отсылает сообщения email

• Выполняет команды cisco

• Генерирует SNMP trap

• Перегружает маршрутизатор

• Генерирует приоритетные сообщения syslog

• Переключается на резервный модуль в системах с избыточностью и отказоустойчивостью

• При наступлении события запрашивает системную информацию (show tech,show proccess cpu history и т.д.)


Пример 1 использования Embedded Event Managerevent manager applet capture_cpu

event snmp oid 1.3.6.1.4.1.9.2.1.56 get-type next entry-op geentry-val 80 exit-time 180 poll-interval 30

action 1.01 cli command "enable"

action 1.02 syslog msg "TEST IN PROGRESS FOR CPU 80%"

action 1.03 cli command "show clock | append bootflash:cpuinfo.log"

action 1.04 cli command "show platform software status control-processor br | append bootflash:cpuinfo.log"

action 1.05 cli command "show process cpu sorted | append bootflash:cpuinfo.log"


Пример 2 использования Embedded Event Managerevent manager applet HSRP_TRACKING authorization bypass

event syslog pattern "state Standby -> Active"

action 0.1 cli command "enable"

action 0.2 cli command "show clock | append bootflash:stat1.txt"

action 0.3 cli command "show process cpu sorted | appendbootflash:stat1.txt"

action 0.4 cli command "show process cpu platform sorted | appendbootflash:stat1.txt"

action 0.5 cli command "show platform hardware qfp active datapathutilization | append bootflash:stat1.txt"

action 0.6 cli command "show interfaces | append bootflash:stat1.txt"


Встроенный механизм захвата пакетов


Embedded Packet Capture

После настройки механизм позволяет захватывать пакеты, которые получает или/и отправляет маршрутизатор. Захваченные пакеты накапливаются в буфере в оперативной памяти маршрутизатора и будут потеряны в результате перезагрузки. После захвата пакетов, их можно проанализировать на маршрутизаторе. Кроме этого, данные можно сохранить в формате packet capture (PCAP) file для того чтобы проанализировать более детально с помощью приложения, понимающий данный формат. Механизм конфигурируется в привилегированном режиме и относится к категории временных вспомогательных инструментов. В результате все настройки встроенного механизма захвата пакетов не сохраняются в конфигурации и удаляются после перезагрузки маршрутизатора.


Embedded Packet Capture (старый формат)Настроить фильтр для захвата пакетов

ip access-list extended CONNECT_ACL

permit ip any any

Сконфигурировать захват пакетов

#monitor capture buffer CONNECT_CAPTURE size 4096 max-size 4000 circular

#monitor capture buffer CONNECT_CAPTURE filter access-list CONNECT_ACL

#monitor capture point ip process-switched CONNECT_CAPTURE_POINT both

<#monitor capture point ip cef CONNECT_CAPTURE_POINT GigabitEthernet0/0 both>

#monitor capture point associate CONNECT_CAPTURE_POINT CONNECT_CAPTURE

Начать захват пакетов

#monitor capture point start CONNECT_CAPTURE_POINT

Остановить захват пакетов

#monitor capture point stop CONNECT_CAPTURE_POINT

Скопировать собранную трассу из оперативной памяти на flash0:

#monitor capture buffer CONNECT_CAPTURE export flash0:CONNECT_CPU.pcap


Embedded Packet Capture (новый формат)

#monitor capture cisco interface gigabitEthernet 0/0/0 out

<#monitor capture cisco control-plane both>

#monitor capture cisco buffer circular size 100

#monitor capture cisco match any

Запустить сбор трассы, когда трафик присутствует.#monitor capture cisco start

Остановить сбор трассы через некоторое время:#monitor capture cisco stop

Выгрузить с ASR трассу на TFTP сервер командой #monitor capture cisco export tftp://<IP-addr of TFTP server>/cisco.pcap

<#monitor capture cisco export bootflash:cisco.pcap>


Анализ собранной трассы с помощью WireShark


Собранный РСАР файл необходимо скопировать с маршрутизатора на компьютер и открыть с помощью программы, понимающую данный формат.

Сообщество технической поддержки


Сообщество Технической поддержки Cisco

https://supportforums.cisco.com

http://russiansupportforum.cisco.com

email:

[email protected]


Спасибо за внимание!

© 2018 Cisco and/or its affiliates. All rights reserved.

Оцените данную сессию в мобильном приложении конференции

www.facebook.com/CiscoRu

www.instagram.com/ciscoru

www.youtube.com/user/CiscoRussiaMedia

www.vk.com/cisco

Контакты:

Тел.: +7 495 9611410www.cisco.com

Your Time Is Now - cisco.com · Проблемы, которые решаются с помощью...

Documents

Transcript of Your Time Is Now - cisco.com · Проблемы, которые решаются с помощью...