V noci z 18.02.2022 na 19.02.2022 jsme zaznamenali doposud nejsilnější DDoS útoky na naší infrastrukturu od dubna 2021, kdy na nás šly zřejmě nejsilnější útoky v dějinách českého internetu. Tehdy nám to na krátkou chvíli dokázalo ucpat tři 100 Gbps trasy. Tentokrát to nebylo tolik o síle, ale délce, a až na pár zákazníků útoky nikdo nezaznamenal.
První náznak útoku jsme zaznamenali v pátek 18. 2. 2022 po 23:46, kdy na třech hlavních trasách narostl počet paketů z 340 tisíc za vteřinu na 2,7 milionů paketů za vteřinu (pkt/s).
Ze zpětné analýzy dat ze senzoru (cluster serverů určených k detekování a analýze útoků) jsme poté zjistili, že se jednalo o kombinovaný útok přes TCP a ICMP pakety, které ve špičce dosáhly přes 3 milionů paketů za vteřinu. Na rozdíl od tras probíhá měření a vyhodnocování jiným způsobem a započítává se do něj vše, co jde přes síť (včetně záložních tras). Je také přesnější, protože vychází z už existujících dat.
Po půlnoci se podařilo útočníkům na pár minut protlačit necelých 800 tisíc requestů na náš proxy server (předtím mimo DDoS ochrany je i SYN filtr, který blokuje útočící IP adresy). V podstatě se jednalo o primitivní útok běžnými požadavky na aplikační vrstvě (layer 7). Pokud náš systém proxy serverů zjistí, že je pod náporem, tak začne okamžitě vytvářet další proxy servery a rozkládat zátěž. Výhoda využívání cloudového řešení.
Na krátkou dobu tak pro některé zákazníky došlo k zpomalení služeb (pokud zrovna jejich web šel přes proxy servery, které odbavovaly útok). Celkově se však jednalo o zpomalení ze stovek ms na zhruba 2 vteřiny na požadavek.
Tento útok trval jen krátkou chvíli a v podstatě se vyřešil sám. Vytvořilo se několik proxy serverů, které pomohly s odbavením provozu a SYN filtr zaevidoval podezřelou aktivitu nových útočících IP adres a omezil je.
Kolegové na podpoře si samozřejmě všimli, že na monitoringu se něco děje a upozornili na to. Technik, který měl zrovna službu vše zkontroloval. Navíc on-line byla ještě část lidí, co mají přístup z domova. Včetně vývojářů. Po menší debatě jsme se domnívali, že bude klid, ale to nejsilnější teprve přišlo.
Začalo to “slabším” útokem 58,3 Gbps a 6,3 milionů paketů za vteřinu. Takovýto útok už by většině naší konkurence prostě ucpal linku. 100 Gbps linky, které používáme, mají jen poskytovatelé specializovaných služeb, kteří potřebují přenášet velký objem dat anebo provozovatelé těch největších datacenter. Naštěstí máme 3 linky a k tomu ještě záložní trasy.
Útočníci to zkoušeli různými druhy útoků o rozdílné síle, ale ta pravá “chuťovka” přišla po jedné v noci. Nejsilnější útok dosáhl 133,5 Gbps (jednalo se o několik složených útoků). Jedná se o minutové průměry, takže strop útoku byl silnější, ale na trasách to lépe nespočítáme.
Předpokládáme, že to byl pokus ucpat 100 Gbps linku, kde útočník doufal že máme strop. Tyto útoky už byly znát a než se s ním ochrana vypořádala, tak došlo ke krátkému zpomalení služeb. Řádově během 6 minut (viz. graf níže ve vyhodnocení).
Zajímavé bylo to, že když to útočníci nezvládli hrubou silou jedním silným útokem, zkoušeli čtyřmi delšími útoky, které přesáhly 90,5 Gbps. Tato data jsou průměry a proto špičky byly mnohem větší.
Co se týká počtu paketů, tak procesory v serverech senzorů i flirtů rozhodně měli co počítat. Nejsilnější útok měl 13,5 milionů paketů za vteřinu a následující 4 slabší 8,7 milionů paketů za vteřinu.
Pak už byl klid.
Většina útoků šla ze zahraničí. Ovšem poměrně velká část i z českého NIXu, což mohou být například napadená zařízení v Česku. Hodně společností spoléhá na to, že v případě nouze vypne zahraničí. No máme pro vás špatnou zprávu. Útok o síle 20 Gbps se dá udělat i z ČR.
Zdroj: https://www.nix.cz/ports/ports/day
Vyhodnocení
Po velmi silných útocích z minulého roku jsme upgradovali ochrany. Navyšovali jsme jak počty strojů, tak i přidávali paměť a výpočetní výkon do sond a filtrů. Teď to bylo znát. Většina tradičních DDoS útoků byla detekována do 1 – 3 vteřin a ihned byla problémová konektivita přesměrována na filtr. Málem jsme celý útok ustáli bez jakýchkoliv problémů. Našli jsme i pár věcí k zlepšení.
Na následujícím grafu vidíte všechny požadavky na webhosting, WMS a WEDOS WebSite. Po půlnoci je tam velký nárůst requestů, což jsou útoky na proxy (znázorněno světle zelenou barvou). Jak vidíte nezpůsobilo to žádný propad.
Zato velký útok o naměřené síle 133,5 Gbps (ve špičce přes 250 Gbps) a 13,5M paketů za sekundu už ano. Na minutovém grafu vidíte že během celkem 6 minut došlo k poklesu requestů na servery. Útok nás rozhodně nevyřadil. Tyto requesty navíc nemusely být vždy ztracené. Pouze pomalejší, takže mohly dorazit až v další minutě. I tak je tam určitý propad znát. Je to ale super výsledek na útok přesahující 100 Gbps ne? 🙂
Půjde to i bez ztráty requestů, ale musíme to posunout o úroveň výše
Abychom dokázali podobné, ba dokonce o dost silnější útoky zvládnout bez větších dopadů, tak potřebujeme naši ochranu posunout o úroveň výše. K tomu nám poslouží decentralizovaná síť WEDOS Global, kterou začínáme budovat.
Během jara bychom rádi umístili 25 serverových skříní HPE Moonshot 1500 do 25 světových datacenter. V každém HPE Moonshot 1500 je 45 fyzických serverů a 2 switche. Celkem tak po celém světě rozmístíme 1125 fyzických serverů. Tyto servery pak budou odbavovat a filtrovat provoz lokálně a k nám do Hluboké už půjde vše přefiltrované.
Aktuálně máme v provozu již 2 tyto boxy a připravujeme rozeslání a rozmístění dalších.
Máme už podepsané smlouvy, takže v březnu začneme posílat první HPE Moonshoty do světa. Hodnota hardware, víceletých smluv a dalších věcí okolo přesáhne 100 milionů Kč. Jedná se o největší investici od stavby našeho druhého privátního datacentra WEDOS DC 2.
Zároveň dokončujeme novou službu WEDOS Global Protection, která bude schopná chránit weby našich zákazníků. Aktuálně již chrání vyšší desítky webů před L7 útoky. Umí toho ale daleko více (různé filtrace/ochrana podle zemí, rozšířená ochrana redakčních systémů atd.).
Vzhledem k aktuální situace děláme vše proto, abychom výstavbu WEDOS Global co možná nejdříve urychlili.
Na závěr dodáme, že brzo přineseme článek, kde bude popsané, jak WEDOS Global chrání web, který je pod útokem a je na něj přes 70 milionů regulérních přístupů za den. Napíšeme i o tom, jak WEDOS Global brání web, na který jde útok přes 13 milionů paketů za sekundu. Vše bez sebemenšího zaváhání a web jede a funguje.
Ale to zase příště…