\u00datok byl poznat hlavn\u011b proto, \u017ee n\u00e1m ob\u010das na kr\u00e1tkou dobu ne\u0161el n\u00e1\u0161 web<\/a>, klientsk\u00e1 administrace<\/a> a na\u0161e status str\u00e1nka<\/a>. To byla hlavn\u011b situace v pond\u011bl\u00ed 5. 4. 2021 a \u010d\u00e1ste\u010dn\u011b i \u00fater\u00fd 6. 4. 2021. Pot\u00e9 jsme provedli n\u011bkolik \u00faprav do infrastruktury, n\u011bco vylep\u0161ili a ve st\u0159edu 7. 4. 2021 u\u017e takto siln\u00e9 \u00fatoky zp\u016fsobovaly pouze drobn\u00e9 zpomalen\u00ed n\u011bkter\u00fdch na\u0161ich web\u016f.<\/p>\n Z\u00e1kazn\u00edk\u016fm n\u011bkter\u00e9 monitorovac\u00ed slu\u017eby hl\u00e1sily v\u00fdpadek, ale ve skute\u010dnosti nebyl. Jen jsme filtrovali r\u016fzn\u00e9 druhy komunikace (v\u010detn\u011b ICMP paket\u016f apod.). N\u011bkter\u00e9 s\u00edt\u011b a autonomn\u00ed syst\u00e9my jsme museli \u00fapln\u011b zablokovat, a tak odn\u011bkud se nedalo k n\u00e1m v\u016fbec dostat.\u00a0<\/p>\n Jednalo se o prvn\u00ed \u00fatok t\u00e9to s\u00edly a tohoto druhu. Doposud jsme se s n\u011b\u010d\u00edm podobn\u00fdm nesetkali. Jednak tento \u00fatok byl mimo\u0159\u00e1dn\u011b siln\u00fd (stovky Gbps) a dlouh\u00fd (v podstat\u011b 72 hodin a to je\u0161t\u011b \u010d\u00e1ste\u010dn\u011b prob\u00edh\u00e1) . Chv\u00edli n\u00e1m trvalo, ne\u017e jsme se nov\u00e9 aktu\u00e1ln\u00ed situaci p\u0159izp\u016fsobili. Dal\u0161\u00ed podobn\u00e9 \u00fatoky u\u017e pro n\u00e1s budou snad rutinou. Co \u0161lo, tak jsme zautomatizovali a je\u0161t\u011b co p\u016fjde, automatizujeme.<\/p>\n \u00dato\u010dn\u00edci \u00fato\u010dili nejprve na na\u0161e routery. Kdy\u017e jsme s t\u00edm \u00fasp\u011b\u0161n\u011b bojovali, tak za\u010dali \u00fato\u010dit na na\u0161e firemn\u00ed weby. Kdy\u017e jsme i s t\u00edmto bojovali, tak za\u010dali \u00fato\u010dit na z\u00e1kaznick\u00e9 slu\u017eby (webhostingy a n\u011bkter\u00e9 virtu\u00e1ln\u00ed servery). Dost se to m\u011bnilo. DDoS \u00fatok je koordinovan\u00e1 snaha velk\u00e9ho mno\u017estv\u00ed napaden\u00fdch anebo zraniteln\u00fdch Zombie po\u010d\u00edta\u010d\u016f (PC, server, mobil, IoT atd.) p\u0159et\u00ed\u017eit n\u011bjak\u00fd s\u00ed\u0165ov\u00fd prvek a to t\u00edm, \u017ee jej zahlt\u00ed po\u017eadavky. DDoS \u00fatoky prov\u00e1d\u00ed takzvan\u00fd Botnet, co\u017e je koordinovan\u00e1 s\u00ed\u0165 t\u011bchto napaden\u00fdch Zombie po\u010d\u00edta\u010d\u016f, ovl\u00e1dan\u00fdch p\u0159es takzvan\u00e9 Command and Control (C&C) Servery.<\/p>\n \u010c\u00edm v\u00edce Zombie stroj\u016f je v Botnet, t\u00edm siln\u011bj\u0161\u00ed \u00fatok je schopn\u00fd \u00fato\u010dn\u00edk p\u0159ipravit a prov\u00e9st. Nejv\u011bt\u0161\u00ed Botnety mohou obsahovat miliony za\u0159\u00edzen\u00ed. V\u011bt\u0161ina lid\u00ed ani netu\u0161\u00ed, \u017ee jejich po\u010d\u00edta\u010d je sou\u010d\u00e1st\u00ed Botnetu a \u010dek\u00e1 na rozkazy C&C serveru.<\/p>\n DDoS \u00fatoky se v\u011bt\u0161inou sna\u017e\u00ed p\u0159et\u00ed\u017eit c\u00edl hrubou silou. Pou\u017e\u00edvaj\u00ed se dva zp\u016fsoby: ucp\u00e1n\u00edm konektivity velk\u00fdmi p\u0159enosy a po\u010dtem paket\u016f.<\/p>\n V prvn\u00edm p\u0159\u00edpad\u011b jde o to sm\u011b\u0159ovat na c\u00edl v\u00edce p\u0159enos\u016f, ne\u017e zvl\u00e1dne konektivita c\u00edle. Pokud se v\u00e1m povede ji zcela vyt\u00ed\u017eit, tak k c\u00edli u\u017e se nedostanou regul\u00e9rn\u00ed u\u017eivatel\u00e9 a vypad\u00e1, \u017ee je pomal\u00fd anebo offline.<\/p>\n Druh\u00fd druh \u00fatoku se sna\u017e\u00ed velk\u00fdm po\u010dtem paket\u016f p\u0159et\u00ed\u017eit v\u00fdkon n\u011bjak\u00e9ho prvku v s\u00edti c\u00edle. Bu\u010f, \u017ee to nezvl\u00e1dne procesor anebo dojde pam\u011b\u0165.<\/p>\n V obou p\u0159\u00edpadech je d\u016fle\u017eit\u00e9, aby s\u00ed\u0165ov\u00e1 infrastruktura byla postavena na m\u00edru i cel\u00e9 konektivit\u011b. Pokud budete m\u00edt konektivitu 100 Gbps a hrani\u010dn\u00ed router 20 Gbps, tak jej slo\u017e\u00ed i 30 Gbps \u00fatok. Obdobn\u011b je to s pakety.<\/p>\n Koncem roku 2017 jsme jako jeden z prvn\u00edch komer\u010dn\u00edch hosting\u016f zapojili 100 Gbps trasu. To byla v\u00fdznamn\u00e1 ud\u00e1lost, kter\u00e1 n\u00e1m umo\u017enila daleko l\u00e9pe analyzovat a filtrovat velmi siln\u00e9 DDoS \u00fatoky.<\/p>\n Postupn\u011b jsme v\u0161echny 3 trasy vylep\u0161ili na 100 Gbps. Aktu\u00e1ln\u011b m\u00e1me:<\/p>\n A pak dal\u0161\u00ed dv\u011b 10 Gbps z\u00e1lo\u017en\u00ed trasy.<\/p>\n Hlavn\u00ed byla Trasa 1 (CETIN – T\u00e1bor) a Trasa 2 (CETIN – P\u00edsek). Ty vedou z datacentra Sitel p\u0159es optiku Cetin k n\u00e1m na Hlubokou a tvo\u0159\u00ed takzvanou p\u00e1te\u0159n\u00ed s\u00ed\u0165 (200 Gbps). V Praze m\u00e1me p\u0159\u00edpojky na SITELu (CeColo) – 100 Gbps ke Cogent, 100 Gbps k Telia, 100 Gbps ke Kaora, 10 Gbps k \u010cDT.<\/p>\n Jako z\u00e1lohu m\u00e1me Trasu 3 (\u010cDT – Jihlava) a tam v datacentru U2 (\u010cDT) m\u00e1me p\u0159\u00edpojky 100 Gbps do Kaora a 10 Gbps k \u010cDT.\u00a0<\/p>\n V\u0161ude na trase jsou 100 Gbps chytr\u00e9 switche Arista, co\u017e jsou podle n\u00e1s jedny z nejlep\u0161\u00edch stroj\u016f na sv\u011bt\u011b. Jsme s nimi tak spokojeni, \u017ee jsme se rozhodli je za\u010d\u00edt pou\u017e\u00edvat i pro vnit\u0159n\u00ed infrastrukturu.<\/p>\n \u00datok za\u010dal v pond\u011bl\u00ed 05.04.2021 v 3:25 a pokra\u010doval i n\u00e1sleduj\u00edc\u00ed dny v r\u016fzn\u00fdch form\u00e1ch a s\u00edle.<\/p>\n Grafy nejsou kompletn\u00ed, proto\u017ee d\u00edky p\u0159et\u00ed\u017een\u00fdm kapacit\u00e1m n\u011bkter\u00e9 snmp statistiky nem\u00e1me k dispozici, proto\u017ee byly p\u0159eps\u00e1ny nov\u011bj\u0161\u00edmi informacemi.<\/p>\n Nav\u00edc na grafech vid\u00edte r\u016fzn\u00e9 pr\u016fm\u011bry a to za n\u011bkolik minut (3 a\u017e 15) a proto to je zkresluj\u00edc\u00ed. \u00datoky jsme v\u017edy po cca sekund\u011b postupn\u011b filtrovali a tak n\u00e1sledn\u011b provoz poklesl a t\u00edm je ovlivn\u011bn i ten pr\u016fm\u011br za n\u011bkolik minut.<\/p>\n \u00a0<\/p>\n N\u00e1sleduj\u00edc\u00ed grafy ukazuj\u00ed zachycen\u00e9 p\u0159enosy a pakety na\u0161\u00ed DDoS ochranou b\u011bhem jednotliv\u00fdch dn\u016f.<\/p>\n Na grafech p\u0159enos\u016f vid\u00edte \u00fatoky p\u0159es jednotliv\u00e9 trasy. Nejsiln\u011bj\u0161\u00ed byl v pond\u011bl\u00ed a je\u0161t\u011b si jej bl\u00ed\u017ee pop\u00ed\u0161eme. V \u00fater\u00fd jsme provedli \u00fapravu routov\u00e1n\u00ed a zapojili z\u00e1lo\u017en\u00ed trasu Telia.<\/p>\n A jednotliv\u00fdch tras (05.04 – 07.04)<\/p>\n Skute\u010dn\u011b zaj\u00edmav\u00fd za\u010dal b\u00fdt \u00fatok a\u017e v 12:00 v pond\u011bl\u00ed 5. 4. 2021, kdy to \u00fato\u010dn\u00edk za\u010dal rozj\u00ed\u017ed\u011bt opravdu velkou silou. V 1:00 dal\u0161\u00edho dne, pak zkusil velmi siln\u00fd \u00fatok p\u0159es pakety. Po celou dobu tam byly i dal\u0161\u00ed \u00fatoky, ale soust\u0159ed\u00edme se jen na tuto \u010dasovou oblast.<\/p>\n Na n\u00e1sleduj\u00edc\u00edm grafu vid\u00edte \u00fatoky tak, jak p\u0159ich\u00e1zely na trasu Cogent a Karoa (Telia jsme naplno zapojili a\u017e v \u00fater\u00fd odpoledne).<\/p>\n Na prvn\u00edm grafu je hrub\u00e1 s\u00edla v Gbps.<\/p>\n Na druh\u00e9m grafu pak pokusy shodit jednotliv\u00e9 prvky na\u0161\u00ed s\u00ed\u0165ov\u00e9 infrastruktury p\u0159es po\u010det paket\u016f.<\/p>\n Co se t\u00fdk\u00e1 samotn\u00e9ho \u00fatoku, tak se jednalo o n\u011bkolik stovek odli\u0161n\u00fdch \u00fatok\u016f, kter\u00e9 st\u0159\u00eddaly formu, s\u00edlu, c\u00edle. Jak jsme na n\u011b postupn\u011b reagovali a nasazovali nov\u00e9 filtry a pravidla do ochran, tak se tomu \u00fato\u010dn\u00edk sna\u017eil p\u0159izp\u016fsobit. Obecn\u011b krizov\u00fdch bylo asi 7 minut z cel\u00e9ho dne, kdy jsme na jednom routeru zaznamenali pokles p\u0159irozen\u00fdch p\u0159enos\u016f.<\/p>\n Co se t\u00fdk\u00e1 c\u00edl\u016f, tak \u00fato\u010dn\u00edk to m\u011bnil pr\u016fb\u011b\u017en\u011b podle toho, co na\u0161el a v co doufal, \u017ee nen\u00ed tak dob\u0159e chr\u00e1n\u011bno anebo jsme n\u011bkde podcenili s\u00ed\u0165ovou infrastrukturu. Velk\u00e9 \u0161kody v\u0161ak nenap\u00e1chal. Sp\u00ed\u0161e to bylo takov\u00e9 zoufal\u00e9 st\u0159\u00edd\u00e1n\u00ed IP adres a p\u00e1r dom\u00e9n.<\/p>\n Co se mu poda\u0159ilo shodit, byla na\u0161e status str\u00e1nka<\/a>, kterou v\u0161ak m\u00e1me od po\u010d\u00e1tku mimo na\u0161i infrastrukturu a ochrany, abychom v p\u0159\u00edpad\u011b probl\u00e9m\u016f dok\u00e1zali komunikovat se z\u00e1kazn\u00edky. A jen jsme si ov\u011b\u0159ili, \u017ee ani zahrani\u010dn\u00ed \u0159e\u0161en\u00ed nen\u00ed 100%.<\/p>\n \u00datoky \u0161ly z cel\u00e9ho sv\u011bta<\/p>\n V pond\u011bl\u00ed ve ve\u010dern\u00edch hodin\u00e1ch jsme b\u011bhem \u00fatoku m\u011bli p\u0159es slu\u017ebu meet.wedos.com<\/a> online konferenci se 70 lidmi. Kdy\u017e p\u0159i\u0161el siln\u00fd ve\u010dern\u00ed \u00fatok, tak n\u00e1s jen upozornil \u0161\u00e9f a bylo vid\u011bt, jak ka\u017edou chv\u00edli rychle p\u0159eklik\u00e1v\u00e1 na statistiky a monitoring. Nicm\u00e9n\u011b \u00fatok na konferen\u010dn\u00edm hovoru nebyl poznat, a to jsme tam m\u011bli i lidi ze zahrani\u010d\u00ed.<\/p>\n Rozd\u011blme si nyn\u00ed ob\u011b trasy a pod\u00edvejme se, co se \u00fato\u010dn\u00edkovi „poda\u0159ilo“. Je t\u0159eba br\u00e1t v potaz, \u017ee graf ukazuje minutov\u00e9 pr\u016fm\u011bry, tak\u017ee 100 Gbps bylo dosa\u017eeno.<\/p>\n P\u0159\u00edpojka Cogent dosahovala sv\u00e9ho maxima a skute\u010dn\u011b jsme evidovali za celou dobu v sou\u010dtu des\u00edtky vte\u0159in, kdy byla ucpan\u00e1 a p\u0159enosy musely j\u00edt p\u0159es trasu 2. V tuto dobu se skute\u010dn\u011b n\u011bkter\u00e9 pakety, kter\u00e9 nevy\u017eaduj\u00ed potvrzen\u00ed o p\u0159ijet\u00ed (nap\u0159\u00edklad UDP) mohly ztr\u00e1cet. Nicm\u00e9n\u011b u web\u016f se pou\u017e\u00edv\u00e1 TCP a pokud se n\u011bjak\u00fd paket ztrat\u00ed (nep\u0159ijde potvrzen\u00ed od protistrany o doru\u010den\u00ed), tak se pos\u00edl\u00e1 znovu a m\u011bl by j\u00edt p\u0159es druhou trasu.<\/p>\n V nejvy\u0161\u0161\u00edch \u0161pi\u010dk\u00e1ch nejsme schopni \u0159\u00edct, jak siln\u00fd \u00fatok na tuto trasu byl, nebo\u0165 p\u0159es\u00e1hl 100 Gbps, kter\u00e9 dok\u00e1\u017eeme je\u0161t\u011b zm\u011b\u0159it.<\/p>\n Druh\u00e1 trasa si vedla o pozn\u00e1n\u00ed l\u00e9pe. Ne\u0161lo toho „tolik“ p\u0159es ni a nebyla zahlcena. M\u016f\u017eeme tedy \u0159\u00edct, \u017ee na\u0161e kapacita 2x 100 Gbps byla pro tento \u00fatok dostate\u010dn\u00e1.<\/p>\n Tohle byla nejsiln\u011bj\u0161\u00ed \u010d\u00e1st pond\u011bln\u00edho \u00fatoku hrubou silou s pokusem ucpat n\u00e1m konektivitu. Jsou po\u010d\u00edt\u00e1n\u00e9 minutov\u00e9 pr\u016fm\u011bry, kter\u00e9 se zapisuj\u00ed 1x za 3 minuty.<\/p>\n P\u0159ikl\u00e1d\u00e1me i grafy jednotliv\u00fdch tras.<\/p>\n Kdy\u017e se \u00fato\u010dn\u00edkovi neda\u0159ilo ucpat na\u0161i konektivitu, rozhodl se zkusit zahltit na\u0161e s\u00ed\u0165ov\u00e9 prvky pomoc\u00ed paket\u016f. Tento \u00fatok je velice nep\u0159\u00edjemn\u00fd, proto\u017ee m\u016f\u017ee m\u00edt \u0159adu podob. Tady jsme opravdu r\u00e1di, \u017ee investujeme do kvalitn\u00edch switch\u016f a router\u016f, kter\u00e9 daleko p\u0159esahuj\u00ed to, co na b\u011b\u017en\u00fd provoz pot\u0159ebujeme.<\/p>\n Ve v\u00fdsledku tento \u00fatok nezp\u016fsobil \u017e\u00e1dn\u00e9 v\u011bt\u0161\u00ed \u0161kody, ale 77,1 milion\u016f paket\u016f na 1 stroj zn\u00ed opravdu hroziv\u011b.<\/p>\n Druh\u00e1 trasa si tak\u00e9 u\u017eila sv\u00e9, ale tak siln\u00fd \u00fatok na\/p\u0159es ni ne\u0161el.<\/p>\n V odpoledn\u00edch hodin\u00e1ch jsme provedli \u0159adu \u00faprav na routov\u00e1n\u00ed a vylep\u0161ili filtrov\u00e1n\u00ed. V\u00fdsledkem bylo hlavn\u011b odd\u011blen\u00ed CZ\/SK provozu, kter\u00fd v\u011bt\u0161ina z na\u0161ich z\u00e1kazn\u00edk\u016f pot\u0159ebuje. Naplno se tak\u00e9 zapojila p\u0159\u00edpojka 3 (Telia).<\/p>\n Fungovalo n\u00e1m to dob\u0159e, jen n\u00e1m tam dopoledne p\u00e1r \u010desk\u00fdch IP adres skon\u010dilo na blacklistu, \u010d\u00e1st \u00fatok\u016f v \u0159\u00e1dech des\u00edtek Gbps jde toti\u017e i p\u0159es NIX.<\/p>\n Hodn\u011b napaden\u00fdch\/zraniteln\u00fdch za\u0159\u00edzen\u00ed je tedy i u \u010desk\u00fdch ISP a ka\u017ed\u00fd by se m\u011bl p\u0159ipravit, \u017ee dok\u00e1\u017e\u00ed vytvo\u0159it \u00fatok o s\u00edle des\u00edtek Gbps. N\u011bjak\u00e9 rozs\u00e1hlej\u0161\u00ed blokace IP rozsah\u016f anebo blackholing zde moc pou\u017e\u00edvat nejde. Jsme r\u00e1di za na\u0161e „pra\u010dky“, kter\u00e9 dok\u00e1\u017e\u00ed takov\u00fdto provoz \u010distit.<\/p>\n Ze zahrani\u010d\u00ed jsme dostupn\u00ed dob\u0159e, n\u011bkter\u00e9 monitorovac\u00ed slu\u017eby mohou v\u0161ak hl\u00e1sit nedostupnost, proto\u017ee m\u00e1me p\u0159\u00edsn\u011bji nastaven\u00e9 filtry (m\u016f\u017eete vyu\u017e\u00edt zat\u00edm n\u00e1\u0161 WEDOS OnLine<\/a>). Obecn\u011b p\u0159i \u0161pi\u010dce \u00fatoku m\u016f\u017ee doj\u00edt u slu\u017eeb k zpomalen\u00ed p\u0159\u00edpadn\u011b velmi kr\u00e1tk\u00fdm v\u00fdpadk\u016fm.<\/p>\n Ve st\u0159edu se n\u00e1m v\u0161ak stalo n\u011bco, co jsme (ne)\u010dekali. \u00dato\u010dn\u00edci poprv\u00e9 zkusili ucpat v\u0161echny 3 trasy, co\u017e se jim na p\u00e1r sekund skute\u010dn\u011b poda\u0159ilo. B\u011bhem t\u011bchto p\u00e1r vte\u0159in jsme tedy m\u011bli zahlceno 3x 100 Gbps. Ve v\u00fdsledku to v\u0161ak ud\u011blalo „jen“ 142,3 Gbps p\u0159i minutov\u00fdch pr\u016fm\u011brech (m\u011b\u0159\u00edme 1x za 3 minuty) a celkov\u011b tam bylo pr\u016fm\u011brn\u011b kolem 100 milion\u016f paket\u016f za sekundu. \u0160pi\u010dkov\u011b to bylo ucpan\u00fdch 300 Gbps a p\u0159es 200 milion\u016f paket\u016f za sekundu. My jsme po sekund\u011b v\u017edy filtrovali a postupn\u011b situaci \u0159e\u0161ili.\u00a0<\/p>\n Pt\u00e1te se, kde jsme vzali ta \u010d\u00edsla? To m\u00e1 jednoduch\u00e9 vysv\u011btlen\u00ed. Ta \u010d\u00edsla ukazuj\u00ed routery na jednotliv\u00fdch rozhran\u00edch. Maj\u00ed tam p\u0159esn\u00e9 statistiky (dosa\u017een\u00e1 maxima a pr\u016fm\u011bry za posledn\u00ed \u010dasov\u00e9 obdob\u00ed ). Na\u0161e infrastruktura to ust\u00e1la. Nicm\u00e9n\u011b takto masivn\u00ed provoz zahlcuje i trasy na\u0161ich dodavatel\u016f a n\u011bkter\u00fdch dal\u0161\u00edch ISP po cest\u011b. Daj\u00ed se tedy prov\u00e1d\u011bt jen velice kr\u00e1tce.<\/p>\n \u00dato\u010dn\u00edk\u016fm u\u017e se nepoda\u0159ilo na\u0161e weby shodit, pouze n\u00e1m ob\u010das p\u0159i\u0161lo varov\u00e1n\u00ed o tom, \u017ee jsou pomalej\u0161\u00ed. M\u00edsto toho zkou\u0161eli doslova v\u0161echno mo\u017en\u00e9. Nap\u0159\u00edklad vyb\u00edrali n\u00e1hodn\u00e9 dom\u00e9ny, kter\u00e9 si mysleli \u017ee jsou u n\u00e1s a na IP adresy v DNS sm\u011b\u0159ovaly \u00fatoky.<\/p>\n Na spr\u00e1vu a ovl\u00e1d\u00e1n\u00ed v\u0161eho jsme se dostali v\u017edy, proto\u017ee m\u00e1me fyzicky odd\u011blenou intern\u00ed LAN. V\u011bd\u011bli jsme, \u017ee jednou \u00fatoky p\u0159es 100 Gbps p\u0159ijdou, ale popravd\u011b ne\u010dekali jsme, \u017ee tak brzy a rovnou na n\u00e1s \ud83d\ude42<\/p>\n Jsme v \u00fapln\u011b jin\u00e9 pozici ne\u017e v roce 2014, kdy na n\u00e1s \u0161ly prvn\u00ed siln\u00e9 \u00fatoky a nem\u011bli jsme se fakticky, jak se jim br\u00e1nit. Chyb\u011bly n\u00e1m hlavn\u011b zku\u0161enosti, know how a hardware. Dnes u\u017e v\u0161echno tohle m\u00e1me, plus 3x 100 Gbps k tomu \ud83d\ude42<\/p>\n Nebudeme ps\u00e1t, \u017ee n\u00e1s tyto \u00fatoky trochu nepotr\u00e1pily. N\u011bkte\u0159\u00ed z n\u00e1s nespali a \u010dekali, co dal\u0161\u00edho \u00fato\u010dn\u00edci s takov\u00fdmto arzen\u00e1lem dok\u00e1\u017eou vymyslet. Pokud za 3 noci nasp\u00edte 6 hodin, tak jste asi unaveni…<\/p>\n Na\u0161li jsme i p\u00e1r „slabin“, kter\u00e9 by takto siln\u00fd \u00fatok mohl zneu\u017e\u00edt. V noci jsme tak\u00e9 nap\u0159\u00edklad p\u0159ehazovali n\u011bjak\u00e9 IP adresy a prov\u00e1d\u011bli \u00fapravy v DNS. Museli jsme jednat rychle a objevilo se i p\u00e1r chyb. Kdy\u017e p\u0159episujete stovky IP adres a po\u010d\u00edt\u00e1te rozsahy s p\u00e1r hodinami sp\u00e1nku, tak v\u00e1m ob\u010das n\u011bco ujde. \u0160lo nap\u0159\u00edklad o to, \u017ee \u00fato\u010dn\u00edci (nov\u011b) \u00fato\u010dili na IP adresy slu\u017eeb, podle DNS n\u00e1zv\u016f. Pot\u0159ebovali jsme v\u011bd\u011bt na jak\u00e9. Tak\u017ee jsme slu\u017eb\u00e1m p\u0159episovali IP adresy v DNS a postupn\u011b jsme zmen\u0161ovali skupinu, ne\u017e jsme p\u0159i\u0161li na co p\u0159esn\u011b \u00fato\u010d\u00ed. Bohu\u017eel n\u011bco takov\u00e9ho jde velmi pomalu. M\u00e1te obrovskou skupinu dom\u00e9n a pot\u0159ebujete v\u011bd\u011bt, na kterou \u00fato\u010d\u00ed. Tak jak na to? Rozd\u011blit to na men\u0161\u00ed skupiny. A \u010dek\u00e1te, a\u017e se to projev\u00ed v DNS a sledujete, na kterou skupinu \u00fato\u010d\u00ed. Tu rozd\u011bl\u00edte na men\u0161\u00ed a zase \u010dek\u00e1te. A takhle postupn\u011b, a\u017e se dostanete na konkr\u00e9tn\u00ed n\u00e1zev. Vzhledem k tomu, \u017ee v\u017edy \u010dek\u00e1te na zm\u011bny v DNS, tak je to operace na mnoho a mnoho a mnoho hodin. Ale \u00fasp\u011bch se dostavil.\u00a0<\/p>\n Samoz\u0159ejm\u011b zastavit takov\u00fdto \u00fatok je n\u011bco jin\u00e9ho, ne\u017e jej filtrovat. Nau\u010dili jsme se \u00fatoky o s\u00edle des\u00edtek Gbps filtrovat tak, \u017ee z\u00e1kazn\u00edk, na kter\u00e9ho takov\u00fdto \u00fatok jde, nepozn\u00e1 rozd\u00edl. To n\u00e1m hodn\u011b pomohlo v \u00fater\u00fd, kdy\u017e se za\u010dali objevovat v\u00edce \u00fatoky z \u010desk\u00e9ho NIXu. Ano, \u00fatoky p\u0159ich\u00e1zely i z \u010cR.\u00a0<\/p>\n Hned v pond\u011bl\u00ed jsme d\u011blali anal\u00fdzu dat a zji\u0161\u0165ovali jsme, zda nejsou \u00fatoky jen z n\u011bjak\u00e9ho sv\u011btad\u00edlu a ten bychom zablokovali. Bohu\u017eel. IP adresy byly z cel\u00e9ho sv\u011bta. Norm\u00e1ln\u011b ze v\u0161ech zem\u00ed okolo \u010cR, v\u010detn\u011b \u010cR. A to nezablokujete jen tak… Asi na n\u00e1s \u00fato\u010dila ka\u017ed\u00e1 modern\u00ed ledni\u010dka.<\/p>\n Z uveden\u00fdch d\u016fvod\u016f ne\u0161lo \u00fapln\u011b jednodu\u0161e pou\u017e\u00edvat tzv. selektivn\u00ed blackholing a to tak, abychom n\u011bkter\u00e9 na\u0161e IP adresy nepropagovali do n\u011bkter\u00fdch lokalit (geograficky).<\/p>\n Nicm\u00e9n\u011b na takto siln\u00e9 \u00fatoky filtrov\u00e1n\u00ed sta\u010dit nebude. Tam u\u017e je pot\u0159eba p\u0159ij\u00edt s jin\u00fdm \u0159e\u0161en\u00edm na celosv\u011btov\u00e9 \u00farovni. To m\u00e1me v pl\u00e1nu a\u017e se slu\u017ebou WEDOS AnyCast. Priorita jej\u00edho v\u00fdvoje a rychl\u00e9ho nasazen\u00ed v\u00fdrazn\u011b vzrostla.<\/p>\n Ji\u017e v lednu padlo rozhodnut\u00ed, \u017ee velmi v\u00fdkonn\u00e9 stroje na filtrov\u00e1n\u00ed z\u00e1vadn\u00e9ho provozu budeme vym\u011b\u0148ovat. Stroje m\u00e1me k dispozici a chceme je nyn\u00ed nasadit. V pl\u00e1nu jsou 4 nov\u00e9 a ka\u017ed\u00fd by m\u011bl zvl\u00e1dnout p\u0159efiltrovat 40 – 120 Gbps (podle druhu \u00fatoku) a a\u017e 50 milion\u016f paket\u016f za vte\u0159inu. Star\u00e9 pou\u017eijeme jako sondy a budeme moci \u00fatoky p\u0159esn\u011bji analyzovat. M\u00e1me p\u00e1r n\u00e1pad\u016f, kter\u00e9 vy\u017eaduj\u00ed hodn\u011b v\u00fdpo\u010detn\u00edho v\u00fdkonu.<\/p>\n Hmm mysleli jsme, \u017ee 3x 100 Gbps bude sta\u010dit. Asi budeme muset zv\u00e1\u017eit mo\u017enosti nav\u00fd\u0161en\u00ed \ud83d\ude42<\/p>\n Dok\u00e1zali jsme zm\u011b\u0159it DDoS \u00fatok o s\u00edle p\u0159es 300 Gbps (164,3 Gbps p\u0159i minutov\u00fdch pr\u016fm\u011brech – \u010d\u00edslo se zapisuje 1x za 3 minuty) a ve stovk\u00e1ch milion\u016f paket\u016f. P\u0159edpokl\u00e1d\u00e1me, \u017ee \u00fatok byl v\u00fdrazn\u011b siln\u011bj\u0161\u00ed, ale z d\u016fvod\u016f pr\u016fm\u011brov\u00e1n\u00ed n\u011bkolika minut a fakticky p\u0159et\u00ed\u017een\u00ed tras, to nem\u016f\u017eeme p\u0159esn\u011b zm\u011b\u0159it. Ve st\u0159edu pak byly skute\u010dn\u011b \u00fatoky na p\u00e1r vte\u0159in a ty ucpaly v\u0161echny t\u0159i trasy, co\u017e znamen\u00e1 \u00fatok p\u0159es 300 Gbps.\u00a0<\/p>\n Ale ofici\u00e1ln\u00ed \u010d\u00edslo, kter\u00e9 jsme dok\u00e1zali zm\u011b\u0159it jako pr\u016fm\u011br je 164,3 Gbps. Rekord tedy 300 Gbps.<\/p>\n Z\u016fst\u00e1v\u00e1 jen ot\u00e1zka, jak byl skute\u010dn\u011b \u00fatok siln\u00fd a kolik byla ta hranice, kdy bychom to ji\u017e nezvl\u00e1dli.<\/p>\n Co se t\u00fdk\u00e1 paket\u016f a pokusu sest\u0159elit jednotliv\u00e9 prvky na\u0161\u00ed s\u00ed\u0165ov\u00e9 infrastruktury, tak tam jsme nejv\u00edce zaznamenali 98,1 milion\u016f paket\u016f za vte\u0159inu. Op\u011bt se jedn\u00e1 o minutov\u00e9 pr\u016fm\u011bry. 77,1 milionu paket\u016f \u0161lo p\u0159es jednu trasu a 21 milion\u016f paket\u016f p\u0159es druhou. Ale kr\u00e1tkodob\u00e1 \u010d\u00edsla (bez pr\u016fm\u011br\u016f) se pohybovala nad 200 miliony paket\u016f za sekundu.<\/p>\n D\u011bkujeme v\u0161em za podporu b\u011bhem velmi n\u00e1ro\u010dn\u00fdch dn\u00ed. Sna\u017eili jsme se, aby dopad na klienty byl co nejmen\u0161\u00ed a vcelku se n\u00e1m to povedlo. Nap\u0159\u00edklad virtu\u00e1ln\u00ed a dedikovan\u00e9 servery nem\u011bly \u017e\u00e1dn\u00e9 probl\u00e9my a to a\u017e na p\u00e1r v\u00fdjimek, kdy do\u0161lo ke zpomalen\u00ed na n\u011bkolik des\u00edtek sekund.<\/p>\n\n\n\n
Mimochodem nejsiln\u011bj\u0161\u00ed nam\u011b\u0159en\u00fd \u00fatok na 1 na\u0161\u00ed slu\u017ebu – jeden n\u00e1\u0161 web byl p\u0159es 160 Gbps. \u00datoky byly samoz\u0159ejm\u011b r\u016fzn\u011b kumulovan\u00e9 a spojovan\u00e9.<\/p>\nCo je to DDoS \u00fatok<\/h3>\n
Nejd\u0159\u00edve p\u00e1r informac\u00ed k na\u0161\u00ed s\u00ed\u0165ov\u00e9 infrastruktu\u0159e<\/h3>\n
![\"\"](\"https:\/\/blog.wedos.cz\/wp-content\/uploads\/2018\/10\/P_20171214_174444_vHDR_On-ok-1024x576.jpg\")
\n
![\"\"](\"https:\/\/blog.wedos.cz\/wp-content\/uploads\/2020\/04\/20170531_150236-1024x576.jpg\")
<\/a>![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2020\/06\/P_20200525_122539_vHDR_Auto-300x169.jpg\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\t![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2020\/06\/P_20200525_122533_vHDR_Auto-300x169.jpg\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\t![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2020\/06\/P_20200527_112451_vHDR_Auto-300x169.jpg\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\tJak prob\u00edhal \u00fatok na WEDOS<\/h3>\n
![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2021\/04\/ddos-utoky-3-trasy-gbps-20210405-300x132.png\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\t![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2021\/04\/ddos-utoky-3-trasy-gbps-20210406-300x132.png\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\t![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2021\/04\/utoky-20210407-gbps-300x132.png\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\t![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2021\/04\/ddos-utoky-3-trasy-pakety-20210405-300x132.png\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\t![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2021\/04\/ddos-utoky-3-trasy-pakety-20210406-300x132.png\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\t![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2021\/04\/ddos-utoky-3-trasy-pakety-20210407-300x132.png\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\tCogent<\/h5>\n
![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2021\/04\/utoky-ddos-20210405-08-Cogent-pakety-1024x451.png\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\t![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2021\/04\/utoky-ddos-20210405-08-Cogent-gbps-1024x451.png\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\tKaora<\/h5>\n
![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2021\/04\/utoky-ddos-20210405-08-Kaora-gbps-1024x451.png\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\t![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2021\/04\/utoky-ddos-20210405-08-Kaora-pakety-1024x451.png\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\tTelia<\/h5>\n
![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2021\/04\/utoky-ddos-20210405-08-Telia-gbps-1024x451.png\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\t![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2021\/04\/utoky-ddos-20210405-08-Telia-pakety-1024x451.png\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\t\u00datoky z pond\u011bl\u00ed na \u00fater\u00fd<\/h4>\n
![\"\"](\"https:\/\/blog.wedos.cz\/wp-content\/uploads\/2021\/04\/utoky-20210405-obetrasy-bity-1024x445.png\")
<\/a>![\"\"](\"https:\/\/blog.wedos.cz\/wp-content\/uploads\/2021\/04\/utoky-20210405-obetrasy-pakety-1024x456.png\")
<\/a>Rekordn\u00ed \u00fatok hrubou silou – pokus o ucp\u00e1n\u00ed konektivity (Gbps)<\/h4>\n
![\"\"](\"https:\/\/blog.wedos.cz\/wp-content\/uploads\/2021\/04\/utoky-20210405-sitel-bity-1024x469.png\")
<\/a>![\"\"](\"https:\/\/blog.wedos.cz\/wp-content\/uploads\/2021\/04\/utoky-20210405-kaora-bity-1024x456.png\")
<\/a>![\"\"](\"https:\/\/blog.wedos.cz\/wp-content\/uploads\/2021\/04\/nejsilnejsi-ddos-utok-cesko-20210404-stacked-1024x451.png\")
<\/a>![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2021\/04\/nejsilnejsi-ddos-utok-cesko-20210404-solo-kaora-1024x451.png\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\t![\"\"](\"https:\/\/blog.wedos.com\/wp-content\/uploads\/2021\/04\/nejsilnejsi-ddos-utok-cesko-20210404-solo-cogent-1024x451.png\")
<\/a>\n\t\t\t<\/div>\n\t\t\t\t\u00datok hrubou silou – pokus o p\u0159et\u00ed\u017een\u00ed s\u00ed\u0165ov\u00fdch prvk\u016f (pakety)<\/h4>\n
![\"\"](\"https:\/\/blog.wedos.cz\/wp-content\/uploads\/2021\/04\/utoky-20210405-sitel-pakety-1024x465.png\")
<\/a>![\"\"](\"https:\/\/blog.wedos.cz\/wp-content\/uploads\/2021\/04\/utoky-20210405-kaora-pakety-1024x452.png\")
<\/a>\u00datoky z \u00fater\u00fd na st\u0159edu<\/h4>\n
![\"\"](\"https:\/\/blog.wedos.cz\/wp-content\/uploads\/2021\/04\/nix-kaora-202104072234.png\")
D\u00e1le sb\u00edr\u00e1me r\u016fzn\u00e9 netflow a snmp data, kter\u00e1 poskytuj\u00ed podobn\u00e1 vod\u00edtka.<\/p>\n
Z t\u00e9to intern\u00ed LAN jdeme na ve\u0159ejn\u00e9 IP adresy server\u016f p\u0159es intern\u00ed firewall a potom d\u00e1le p\u0159es na\u0161e routery, proto\u017ee br\u00e1nu t\u00e9to intern\u00ed LAN m\u00e1me v jin\u00e9m IP adresn\u00edm rozsahu. Tak\u017ee z na\u0161ich PC jdeme na ve\u0159ejn\u00e9 IP adresy web\u016f a server\u016f p\u0159es p\u0159et\u00ed\u017eenou \u010d\u00e1st s\u00edt\u011b.<\/p>\nCo m\u00e1me v pl\u00e1nu zlep\u0161it<\/h3>\n
Z\u00e1v\u011br<\/h3>\n
![\"\"](\"https:\/\/blog.wedos.cz\/wp-content\/uploads\/2021\/04\/utoky-20210405-obetrasy-gbps-spicka-1342-1344-1-1024x462.png\")
<\/a>![\"\"](\"https:\/\/blog.wedos.cz\/wp-content\/uploads\/2021\/04\/utoky-20210406-obetrasy-pakety-spicka-0044-0046-1024x454.png\")
<\/a>