V\u017edy jsme k v\u00e1m, na\u0161im z\u00e1kazn\u00edk\u016fm, up\u0159imn\u00ed a otev\u0159en\u00ed. \u017d\u00e1dn\u00e9 probl\u00e9my, kter\u00e9 n\u00e1s postihly a mohly ovlivnit va\u0161e slu\u017eby, p\u0159ed v\u00e1mi nikdy netaj\u00edme. Ani ned\u011bln\u00ed v\u00fdpadek konektivity nen\u00ed v\u00fdjimkou. Vzhledem k rozsahu jsme si pro v\u00e1s p\u0159ipravili ofici\u00e1ln\u00ed vyj\u00e1d\u0159en\u00ed zde na na\u0161em blogu.<\/p>\n
Dne 17. 11. 2019 mezi 12:27 a 12:44, tedy zhruba 17 minut, do\u0161lo k v\u00fdpadku konektivity na jedn\u00e9 z tras na\u0161eho datacentra.\u00a0 Situaci jsme se v\u011bnovali s maxim\u00e1ln\u00ed prioritou.<\/p>\n
V datacentru Ce Colo (d\u0159\u00edve Sitel), kde m\u00e1 Kaora sv\u00e9 p\u00e1te\u0159n\u00ed technologie, do\u0161lo k v\u00fdpadku elekt\u0159iny na jedn\u00e9 z nap\u00e1jec\u00edch v\u011btv\u00ed. Podle ofici\u00e1ln\u00edho vyj\u00e1d\u0159en\u00ed spole\u010dnosti Kaora v\u0161ak zaznamenali probl\u00e9m i na druh\u00e9 v\u011btvi nap\u00e1jen\u00ed, co\u017e vedlo k v\u00fdpadku jejich technologi\u00ed. Nav\u00edc po obnoven\u00ed dod\u00e1vky elekt\u0159iny n\u011bkter\u00e9 jejich p\u0159\u00edstupov\u00e9 switche nefungovaly. Museli tak p\u0159istoupit k v\u00fdm\u011bn\u011b hardwarov\u00fdch prvk\u016f a p\u0159epojov\u00e1n\u00ed optick\u00fdch tras.<\/p>\n
M\u00e1me celkem 3 trasy a plat\u00edme si u nich drahou konektivitu do Internetu (celkem 3x 100 Gbps p\u0159\u00edpojku + dal\u0161\u00ed p\u0159\u00edpojky 10 Gbps). Ka\u017ed\u00e1 trasa je vedena jinou geografickou cestou, proto\u017ee nejv\u011bt\u0161\u00edm nebezpe\u010d\u00edm je fyzick\u00e9 p\u0159eru\u0161en\u00ed trasy. Nap\u0159\u00edklad, kdy\u017e n\u011bjak\u00fd bagrista p\u0159ekopne optick\u00fd kabel, co\u017e se re\u00e1ln\u011b ob\u010das st\u00e1v\u00e1. Tento rok to bylo hned 2x a nikdo z na\u0161ich z\u00e1kazn\u00edk\u016f si toho ani nev\u0161iml.<\/p>\n
Jak vid\u00edte, tak trasa 1 a 2 se sb\u00edhaj\u00ed v datacentru Ce Colo, kter\u00e9 bylo posti\u017eeno v\u00fdpadkem nap\u00e1jen\u00ed. Pro p\u0159\u00edpad, \u017ee by se n\u011bco podobn\u00e9ho anebo je\u0161t\u011b hor\u0161\u00edho stalo, tak m\u00e1me z\u00e1lo\u017en\u00ed trasu 3, kter\u00e1 vede do datacentra GTS a je pro jistotu i od jin\u00e9ho dodavatele. Ve smluvn\u00edch podm\u00ednk\u00e1ch s \u010cDT m\u00e1me velice jasn\u011b napsan\u00e9, \u017ee za \u017e\u00e1dn\u00fdch okolnost\u00ed nesm\u00ed po t\u00e9to trase p\u0159es Ce Colo proj\u00edt ani paket.<\/p>\n
Pro\u010d tedy tato t\u0159et\u00ed z\u00e1lo\u017en\u00ed trasa nefungovala jak m\u011bla?<\/p>\n
Trasa jako takov\u00e1 fungovala. Fungovala dokonce bez chyby. Probl\u00e9m byl\u00a0 op\u011bt u spole\u010dnosti Kaora. Bez na\u0161eho v\u011bdom\u00ed provedli (n\u011bkdy v posledn\u00ed dob\u011b – jednotky dn\u00ed nebo t\u00fddn\u016f) z\u00e1sah do nastaven\u00ed s\u00ed\u0165ov\u00e9 infrastruktury (BGP routov\u00e1n\u00ed) a to tak, \u017ee n\u00e1m nepropagovali v\u00fdchoz\u00ed routu, co\u017e m\u011blo za n\u00e1sledek nep\u0159ehozen\u00ed routov\u00e1n\u00ed na z\u00e1lo\u017en\u00ed trasu. Tak\u017ee n\u00e1m fyzicky z\u00e1lo\u017en\u00ed trasa fungovala, ale probl\u00e9m byl v tom, \u017ee\u00a0 na\u0161e intern\u00ed routov\u00e1n\u00ed zalo\u017een\u00e9 na protokolu OSPF (z\u00edsk\u00e1v\u00e1 routy z BGP protokolu) nev\u011bd\u011blo kam m\u00e1 pakety pos\u00edlat, a proto je nepos\u00edlalo nikam. Je to zjednodu\u0161en\u011b \u0159e\u010deno…<\/p>\n
Zji\u0161t\u011bn\u00ed tohoto probl\u00e9mu, nalezen\u00ed \u0159e\u0161en\u00ed a nastaven\u00ed jin\u00e9 konfigurace n\u00e1m trvalo n\u011bkolik minut, ale mezit\u00edm se v pra\u017esk\u00e9m datacentru obnovilo nap\u00e1jen\u00ed a v\u0161e b\u011b\u017eelo. Byli jsme p\u0159ipraveni na zm\u011bnu konfigurace. Jednalo se o velk\u00fd manu\u00e1ln\u00ed z\u00e1sah do na\u0161\u00ed s\u00ed\u0165ov\u00e9 infrastruktury, kter\u00fd je t\u0159eba prov\u00e1d\u011bt s maxim\u00e1ln\u00ed obez\u0159etnost\u00ed.<\/p>\n
A\u010dkoliv chyba nebyla na na\u0161\u00ed stran\u011b, tak je nutn\u00e9 p\u0159iznat, \u017ee n\u00e1\u0161 pod\u00edl je v tom, \u017ee jsme prim\u00e1rn\u011b tolik d\u016fv\u011b\u0159ovali na\u0161emu dodavateli Kaora. P\u0159izn\u00e1v\u00e1me i to, \u017ee jsme na tuhle variantu hledali \u0159e\u0161en\u00ed ji\u017e n\u011bkolik m\u011bs\u00edc\u016f a m\u00e1me dokonce rozpracovan\u00fd projekt s dal\u0161\u00edmi nez\u00e1visl\u00fdmi dodavateli a dal\u0161\u00ed trasou. Bohu\u017eel p\u0159\u00edpojky 100 Gbps jsou v \u010cR st\u00e1le v\u00fdjime\u010dn\u00e9 a nez\u0159\u00edd\u00ed je nikdo na po\u010dk\u00e1n\u00ed.<\/p>\n
A\u010dkoliv se nejednalo o chybu na na\u0161\u00ed stran\u011b – nem\u016f\u017eeme za to, \u017ee do\u0161lo k v\u00fdpadku nap\u00e1jen\u00ed v datacentru Ce Celo, \u017ee Kaora spr\u00e1vn\u011b nefungovalo z\u00e1lo\u017en\u00ed nap\u00e1jen\u00ed p\u0159es druhou v\u011btev a ani za to, \u017ee provedli zm\u011bny, kv\u016fli kter\u00fdm se nep\u0159ehodilo routov\u00e1n\u00ed na na\u0161\u00ed t\u0159et\u00ed trasu. I tak v\u00edme, \u017ee s t\u00edm je nutn\u00e9 n\u011bco d\u011blat, proto\u017ee d\u0159\u00edve anebo pozd\u011bji podobn\u00e1 situace nastane znovu. Hostuje u n\u00e1s skoro ka\u017ed\u00e1 5. cz dom\u00e9na, st\u011bhuje se k n\u00e1m st\u00e1le v\u00edce a v\u00edce velk\u00fdch projekt\u016f a v p\u0159\u00ed\u0161t\u00edm roce pust\u00edme WEDOS Cloud, WMS a p\u00e1r dal\u0161\u00edch slu\u017eeb, kter\u00e9 budou z\u00e1visl\u00e9 na tak\u0159ka stoprocentn\u00ed dostupnosti.<\/p>\n
Hned v\u010dera jsme upravili konfiguraci na\u0161ich p\u00e1te\u0159n\u00edch router\u016f tak, abychom nebyli z\u00e1visl\u00ed na tom, jak\u00e9 konfigurace BGP routov\u00e1n\u00ed dost\u00e1v\u00e1me od na\u0161ich dodavatel\u016f a nem\u011bli probl\u00e9m, pokud provedou zm\u011bnu bez na\u0161eho v\u011bdom\u00ed.<\/p>\n