Posledních 14 měsíců jsme pod silnými DDoS útoky, ale průběžně jsme udělali hodně úprav sítě a vybudovali velmi robustní AntiDDoS ochranu.
Poznámka na úvod – níže uvedený článek byl rozepsaný na konci května 2015, ale nebyl zveřejněn. Nakonec byl dopsán v srpnu. Jen pro představu a vysvětlení. V květnu to bylo 7 měsíců od doby, kdy jsme nasadili DDoS ochranu a za 7 měsíců na nás bylo vedeno přes 50.000 útoků. V srpnu to bylo 10 měsíců a již jsme překonali 100.000 útoků. Je z toho jasně vidět rostoucí trend a nutnost nasazení DDoS ochrany.
Úvod do problematiky DDoS útoků na WEDOS
V říjnu 2014 jsme psali článek o tom, co se u nás děje s DDoS útoky. Zavzpomínejte si zde. Ten ůvodní článek určitě stojí za připomenutí a za přečtení.
Posledních 14 měsíců bylo náročných. Extrémně náročných. Makali jsme a projevilo se to. Výsledkem je robustní DDoS ochrana, kterou nadále rozšiřujeme a vylepšujeme.
Co všechno jsme zažili…
Za 10 měsíců a 1 týden (od okamžiku, kdy máme nasazenou DDoS ochranu a počty útoků měříme) jsme zaznamenali přes 100.000 různých DDoS útoků (v okamžiku psaní článku to bylo 100.473 útoků). Obrovské číslo. Průměrně to vychází na 321 incidentů za den. To jsou čísla, kterým nemůžeme uvěřit ani my.
Za 7 měsíců to bylo 50.000 a nyní za další 3 měsíce také (dalších) 50.000. Počet útoků roste, jejich intenzita také. Zároveň je nutno přiznat, že útoky také lépe detekujeme.
Nejsilnější útoky byly kolem 30 Gbps a téměř 4 Mpps*. V té době to byly útoky, které patřily mezi jedny z největších (v daném dni) v Evropě. Zcela běžně (a řekněme na denním pořádku) jsou útoky v řádu jednotek Gbps. Zrovna v době psaní článku někdo trápil web www.wedos.cz útoky přes 3 Gbps. Nikdo z klientů nic nepoznal.
* Hodnota Mpps (Million Packets Per Second) udává počet paketů za sekundu v milionech.
Co všechno jsme udělali…
Testy, testy a testy
Testovali jsme několik řešení. Testovali jsme hardware, testovali jsme služby, testovali jsme různá softwarová řešení a nakonec jsme vybrali (v podstatě linuxové) řešení, které má největší variabilitu a výkon a v podstatě i svobodu nastavení.
Jednání a ceny
Ceny některých řešení jsou neuvěřitelné. Při našich kapacitách a potřebě redundantního řešení se bavíme o částkách, které mají 7 nul. Někdy jde DDoS ochrana koupit jako služba, ale při našich kapacitách to jsou ročně částky, které mají 6 nul.
Naše řešení nás stálo hodně práce, kterou nepočítáme (jednalo by se o tisíce hodin) ve vývoji, ale jinak hardware jsme pořídili za jednotky milionů korun a výkon na filtraci a detekci máme mnohonásobně vyšší, než testovaná řešení. Takže vlastně nyní víte, na kolik nás celá DDoS ochrana přišla…
Výběr řešení a příprava
Celé vybírání, jednání s dodavateli a testování nám zabralo několik měsíců. Nakonec jsme si vybrali a s odstupem času víme, že správně.
Bohužel nemůžeme, alespoň prozatím, prozradit moc detailů o našem řešení, protože tím bychom mohli útočníkům usnadnit práci.
Nasazení neplánovaně
Vzhledem k důkladnému testování jsme mohli základ řešení nasadit prakticky okamžitě. Nakonec to tak bylo i nutné, protože probíhal silný útok, který nebylo možné řešit jinak. Tak jsme prostě museli loni v říjnu odpojit kabely a zapojit vše do testovacího řešení. Nebyla jiná možnost. Zkouška ohněm. Tak se to nazývá, ale vyšlo to a dnes víme, že to bylo dobré rozhodnutí.
Nekonečný příběh
Nasazením testovacího řešení to vše teprve začalo. Postupně jsme museli ladit chyby. Museli jsme měnit nastavení a postupně navyšovat kapacity a výkon. Dnes jsme ve stádiu, kdy jsme za posledních 5 týdnů už nic neměnili a vše funguje jak má. Jen sledujeme počty útoků, jejich intenzitu a shromažďujeme cenná data, která možná nejen nám poslouží do budoucna.
Neusínáme na vavřínech. Pracujeme na dalších vylepšeních a rozšíření výkonu. Útočníci jsou vynalézaví a tak nesmíme zaspat.
Jak to nyní je?
Celé řešení jsou silné linuxové servery a silné switche
Vše je postaveno na silných serverech, které mají buď hodně vláken (40) nebo naopak velmi vysokou frekvenci (3,5 a více GHz) procesorů a to podle toho, k čemu příslušný server má sloužit. Někdy je potřeba obsloužit strašně moc požadavků současně a jindy zase méně, ale co nejrychleji.
Dokonalá detekce
Vše je založené na dokonalé detekci síťového provozu. Máme k dispozici 4 online sondy, které sledují online (skutečně v reálném čase) veškerý síťový provoz a ten je okamžitě vyhodnocován.
Každá sonda může aktuálně detekovat 10 Gbps a tak můžeme bez problémů změřit a vyhodnotit 40 Gbps. Kdyby byl útok silnější, tak to nevadí, protože pro detekci a vyhodnocení je to naprosto dostačující a jen nebudeme mít tak přesné výsledky.
Každých 5 sekund jednotlivé sondy vyhodnocují, zda nejde o útok a tak máme teoereticky prodlevu 1,3 sekundy, než detekujeme útok.
Dokonalý přehled o dění v síti
Kromě výše uvedených sond máme v síti další 4 sondy, které pracují na principu sFlow a sledují a zaznamenávají veškerý provoz v síti pro pokročilejší vyhodnocení a zpracování.
Každá ze sond může zpracovat až desítky Gbps a tak kapacitně nemáme problém ani v době nejsilnějších útoků.
Tyto sondy jsou následně používány pro zpracování různých statistik a hledání provozu v naší síti. Nepoužívají se přímo pro zpracování útoků, ale pro analýzy, protože jsou přesné a zaznamenávají historii, ale jsou o 30 sekund zpožděné.
Dokonalá filtrace
Na každé optické trase do našeho datacentra máme několik filtrů, na které je přesměrován závadný provoz v případě útoku. Pokud je útok, tak je problematický (napadený) provoz přesměrován v reálném čase na filtry a veškerý provoz je podle určitých kritérií filtrován nebo nějak limitován.
Umíme filtrovat, umíme omezovat, umíme různé věci. Vše probíhá dynamicky podle toho, co se zrovna děje.
Filtrace je extrémně náročná na výpočetní výkon a tak filtraci provádí několik paralelních filtrů.
Každý z filtrů má v sobě několik karet 10 Gbps.
Další stupně filtrace
Za hraničními routery máme další filtry, které používáme pro detailní vyčištění závadného toku. Tyto filtry jsou použity pro následné čištění tak, abychom do sítě nepouštěli “nepořádek”.
Výkon filtrů jde škálovat přidáváním dalších filtrů buď paralelně, kdy se o zátěž dělí nebo seriově, kdy se každý specializuje na filtraci určitých parametrů provozu.
Filtrace odchozích útoků
Pro vylepšení celého systému jsme přidali i filtraci odchozích toků. Tím jsme předešli tomu, že od nás odcházely slabé útoky na jiné cíle v internetu po celém světě a nám se vracely zesílené jako odpověď.
Routování
Udělali jsme hodně úprav v routování. Umíme BGP blackholing a máme nastavený i selektivní BGP blackholing. Systém automaticky mění nastavení BGP routování podle toho, jaký je útok a jak je pro podobný útok nastaven. V případě silných útoků můžeme příslušnou IP adresu zcela vymazat z routovacích tabulek z celého světa nebo jen mimo sítě našich partnerských sítí a jejich přímých peeringových partnerů. Tohle používáme jen výjimečně a jen u silnějších útoků. Jinak se vždy snažíme filtrovat.
Výměna páteřních prvků
Vyměnili jsme páteřní routery a switche za jiné – výkonnější. Dnes máme obrovské rezervy a tím tak výhodu do budoucna. Můžeme se v poklidu rozšiřovat a nemusíme nic měnit.
Posílení páteřní infrastruktury
Vyměnili jsme celou naši páteřní síť a je plně optická a prohlédnout si ji můžete na Dnech otevřených dveří, které chystáme na začátek října 2015.
Všechny síťové prvky v našem datacentru budou připravené na 20 Gbps. Takže každý switch bude připojen 2 x 10 Gbps. Páteřní switche jsou plně desetigigové (všechny porty jsou 10 Gbps nebo 40 Gbps).
Posílení konektivity
Posílili jsme konektvitu a aktuálně máme propoje 70 Gbps, které dokážeme nejen odroutovat, ale také hlavně odfiltrovat od závadného toku. V dalších dnech přidáme ještě další propoj 10 Gbps a potom chceme ještě přidat jednu další trasu 10 Gbps do Prahy.
Hrozně moc nastavení
Systém se vyvíjí a pracujeme na jeho vylepšeních. Je tam hodně nastavení a hodně různých “vychytávek”, které používáme. Hromady skriptů, hromady nastavení… Je to skutečně složité. Od detekce až po filtraci a přitom to ovládá i routování a switche a tok v síti.
Jak to dopadlo…
Poslední problém s DDoS útoky, který mohl pozorovat nějaký klient, jsme měli 29. prosince 2014. Od té doby jsme neměli žádné globální zaváhání.
Posledních 6 měsíců máme dostupnost 100% a to jsme mezitím měnili celou páteřní síť. Takže i výměna páteřních routerů se povedla bez výpadků.
Neustále máme co zlepšovat a detekujeme i další hrozby. Jednak jsou nové hrozby a jednak jsou staré hrozby, které jsme doposud nedetekovali a tak neřešili. To vše vylepšujeme.
Pár zajímavostí o DDoS u WEDOS
Několik čísel a zajímavostí o tom, jak to u nás bylo…
Nejčastější útoky byly na 2 naše webhostingové servery a potom na 1 VPS. Počet útoků na každý z těchto “vítězů” dosáhl 4.000 za sledované období a vítěz má dokonce 4.773 útoků.
Nejsilnější útoky byly na náš web www.wedos.cz. Nejsilnější dosáhl více než 30 Gbps a více než 4 Mpps.
Něco málo mimo téma…
Letos ještě chystáme několik novinek. Jaké?
Placená DDoS ochrana
Klientům chceme nabídnout placenou DDoS ochranu, kdy budeme nabízet filtrování provozu až několik Gbps a ochranu proti útokům v různých kapacitách. Zatím zvažujeme všechny možnosti a testujeme. Zajímalo by nás, zda o to bude zájem. Bude to dražší služba, ale bude určena pro náročné klienty, kteří si nemohou dovolit výpadek.
Spuštění zcela nového mailserveru
V nejbližších dnech spustíme zcela nový mailserver. Postupně tam přesuneme všechny klienty. O celé změně napíšeme ještě vlastní článek a budeme informovat.
Slibujeme si od toho větší stabilitu mailového řešení, než doposud.
Zároveň nabídneme i možnost přiobjednat si samotné maily k VPS či webhostingu.
Nová optická trasa
Chtěli bychom ještě jednu zcela oddělenou a nezávislou optickou trasu do Prahy.
Zahájení stavby zcela nového datacentra
Před několika dny jsme zakoupili pozemek a ještě letos chceme začít stavět dlouhodobě připravované datacentrum. Do budoucna chceme mít 2 datacentra, která budou dohromady tvořit jeden cloud a začneme nabízet i cloudové služby.
Od druhého datacentra si slibujeme nejvyšší možnou míru stabily a bezpečnosti.
Dny otevřených dveří 2015
V říjnu chystáme Dny otevřených dveří v Hluboké nad Vltavou. Již brzo přineseme detaily.
Několik technických novinek v nabídce
Chystáme několik novinek. Aktuálně jsme například spustili VPS 100% SSD Profi.
Multihosting aneb managed VPS
Již dlouho slibujeme pořádný multihosting. Už se na tom pracuje. Dost nás zdržely DDoS útoky a tak nebyl čas…
Nové koncovky domén a vlastní ICANN registrace
Nyní připravujeme registraci polských domén a chceme nabídnout i další koncovky. Pracujeme i na vlastní akreditaci pro generické domény.
Nové trhy
Ještě letos bychom chtěli nabízet naše služby například v Polsku a možná i v některé další zemi…