Ani o prázdninách jsme nelenili a pokračovali v v budování naší infrastruktury WEDOS Global. Optimalizovalo se routování ve vybraných lokalitách, pokračovali jsme v domlouvání nových a dotahujeme některé rozdělané. Výsledkem je lepši odezva v několika zemích a také testujeme několik nových funkcí, které se chystáme zpřístupnit pro všechny uživatele. Samozřejmě nechyběly ani DDoS útoky, i když co do počtu a síly to byl spíše takový prázdninový provoz.
WEDOS Global
WEDOS Global je název naší celosvětové infrastruktury, která nabízí automatizovaná řešení v oblasti kybernetické bezpečnosti, zvyšování rychlosti webu a integraci moderních internetových technologií.
Je postavena na velkém množství našich vlastních fyzických serverů (aktuálně přes 1500) v 25 lokalitách po celém světě, s konektivitou aktuálně přesahující 2500 GB/s. Vše je postaveno na technologiích BGP Anycast a reverzních proxy. což poskytuje WEDOS Global uživatelům rychlé, stabilní a bezpečné připojení.
Služba WEDOS Global Protection, kterou na ní provozujeme, a kterou si již můžete zakoupit a používat, vystupuje jako reverzní proxy. Ten optimalizuje rychlost, filtruje hrozby a zajišťuje, že webové stránky jsou dostupné a rychle načítány z jakékoli části světa. Díky propojení s místními a globálními síťovými uzly (IXP) a použití moderních technologií, jako je HTTP/3 nebo IPv6, WEDOS Global zajišťuje, že webové stránky jsou nejen rychlé, dostupné a bezpečné, ale také jednoduše nasadíte a udržujete technologie, které zprovoznit není vždy jednoduché.
WEDOS Global Anycast DNS
Pro srovnání s konkurencí používáme placené měření třetí strany. To primárně slouží k ladění rychlosti v jednotlivých státech (víme kde máme slabiny, kam dát další bod, kde hledat peering atd.)
Aktuálně jsme:
- TOP 25 na světě
- TOP 10 v Evropě
- TOP 30 v Severní Americe (jedná se o extrémně konkurenční prostředí)
- Dostali jsme se do TOP 20 v regionu Austrálie a Oceánie
- Dostali jsme se do TOP 20 v Asii (tento region je nesmírně těžký, protože řada států má specifické zákony, ISP spolu často “nemluví” atd.)
- V Africe jsme v TOP 20
Další body na kterých pracujeme
V červenci jsme nový bod nespustili. Ty “lehké” lokality už máme, teď jsou na řadě ty obtížnější, kde to často vázne na legislativě a garancích.
S tím jak celou službu posouváme dál a získáváme i nové náročné zákazníky, také objevujeme nová zajímavá místa, kde bychom v budoucnu mohli vybudovat další body.
Irsko (Dublin)
Chceme posílit naše služby v EU. Irsko, konkrétně Dublin, se nám jeví jako zajímavá volba. Lokalitu už máme domluvenou. Servery, switche a další hardware už jsou zabalené v našem druhém datacentru WEDOS DC2. Chybí nám však domluvit konektivitu. Jakmile někde chcete garantovaných 100 Gbps s možností dalšího navýšení, tak to jde pomalu.
Pokud vše půjde podle plánu, tak do konce prázdnin bychom lokalitu v Irsku mohli spustit.
São Paulo (Brazílie)
Jižní Amerika je poslední trvale obydlený kontinent, který nám chybí. Najít však vhodnou lokalitu je poměrně náročné. Jednání se táhnou už přes půl roku. Zatím se nám podařilo dotáhnout jen Brazílii (São Paulo), kde servery aktuálně čekají na proclení. Po zkušenostech z Mexika a Turecka, však radši neuvádíme žádný ani přibližný datum spuštění.
Frankfurt nad Mohanem (Německo)
Možná si říkáte, že Německo je kousek a těch pár desítek ms už za to nestojí. Tak jednoduché to však není. WEDOS Global potřebujte mít lokality na všech důležitých křižovatkách Internetu. A jedna z nejdůležitějších je právě v Německu. Navíc pokud chceme patřit do TOP 5 v Evropě, tak bez lokality a propojů v Německu to nedáte.
Tento měsíc jsme podepsali potřebné smlouvy. Teď musíme připravit servery, switche a další hardwere. Zajistit dopravu atd.
Další plánované lokality WEDOS Global
Rádi bychom v rámci první fáze měli lokalitu v Dubai a Ománu, tam jsou však problémy s legislativou a cenou. Velmi lákavá je také Indie, nicméně zde narážíme na stejné problémy a navíc bychom zde museli udělat i pobočku. Se vším se nějak časem popereme.
Dále řešíme lokality pro zlepšení služeb v EU – hlavně Hamburg a Řím. Pak to bude o domlouvání propojů. V další fázi pak přidáme lokality Maďarsko, Rakousko, Španělsko a zvažujeme i Slovensko. Rozhodně však spíše poptávka ze strany zákazníků v těchto zemích. Pokud někde výrazně stoupne o naše služby zájem, tak tam zřídíme lokalitu poměrně rychle.
Nové peeringy
Rozšířili jsme naši síťovou infrastrukturu v Silicon Valley a Chicagu. A to novým propojením do IXP (Internet Exchange Point) a ECX (Equinix Cloud Exchange).
Co je to IXP peering?
Peering je dohoda mezi dvěma poskytovateli internetových služeb (ISP), která umožňuje, aby jejich síťový provoz procházel přímo mezi nimi, aniž by musel projít třetí stranou.
Tento přímý přenos dat může zvýšit rychlost a spolehlivost internetového připojení, protože údaje nemusí cestovat tak daleko nebo přes další různé sítě. Také to může snížit náklady, protože obě strany se mohou vyhnout poplatkům, které by jinak mohly platit třetím stranám za přenos dat.
Peering obvykle probíhá na tzv. internetových výměnných bodech (IXP), kde může mnoho ISP propojit své sítě dohromady.
Co je to ECX?
Equinix Cloud Exchange (ECX) je produkt vyvíjený společností Equinix, což je jeden z největších provozovatelů datacentrer na světě (provozují jich přes 240).
ECX umožňuje rychlé a bezpečné propojení s různými cloudovými poskytovateli. To umožňuje společnostem přistupovat ke cloudovým službám s vylepšenou latencí a zajišťuje vyšší úroveň výkonu a spolehlivosti.
Nové propoje budou postaveny na 10G portech, což znamená, že budou schopny přenášet data rychlostí 10 gigabitů za sekundu. V každé z lokalit bude zprovozněno několik těchto 10G portů. Zlepšení výkonu a propustnosti bude dále dosaženo využitím technologie LAG (Link Aggregation), což umožní spojit dva 10G fyzické porty do jednoho logického portu o celkové kapacitě 20G. Tento krok povede ke zvýšení dostupné šířky pásma a zvýšené redundanci.
Obě lokality mají vysokou koncentraci datacenter a síťových zařízení. Díky tomu jsou středisky internetového provozu a významnými uzly, kudy prochází velké množství dat. Všechny významné společnosti (jako jsou Apple, Google, Facebook a mnoho dalších) to tak k nám budou mít blíže a provoz z nich (hlavně jejich robotů) není opravdu zanedbatelný.
Chcete se o WEDOS Global dozvědět více?
Pokud vás zajímá WEDOS Global a rádi byste se dozvěděli více o pokročilých technologiích které používáme, tak pro hlubší a detailní pohled do technologické architektury, na níž je postavena infrastruktura WEDOS Global, vám doporučujeme poslechnout naších přednášku z Kubernetes Community Days Czech & Slovak 2023. Tuto odbornou prezentaci vedli dva kolegové, kteří hrají klíčovou roli ve vývoji WEDOS Global.
WEDOS Global Protection
WEDOS Global Protection je první službou spuštěnou na infrastruktuře WEDOS Global. Původně měla sloužit jako ochrana před různými druhy DDoS útoků, ale ukázalo se, že na některé útoky funguje perfektně cachování obsahu. Trochu jsme to posunuli a WEDOS Global Protection teď funguje jako taková webová CDN. Takže za ideálních podmínek lze použít i k ustání velmi velmi velkého náporu regulérních návštěvníků.
To byl nakonec i důvod, proč jsme upustili od tarifu zdarma pro osobní nekomerční weby. Už toho umí tolik a její přínos je tak velký, že věříme že zákazníkovi se vždy vyplatí zaplatit 25 Kč za měsíc.
Testujeme HTTP/3
V červnu jsme začali testovat možnost nasazení HTTP/3 pro uživatele WEDOS Global Protection. V červenci jsme se posunuli dál a náš web jede kompletně na HTTP/3. Pokud nenarazíme při testování na problém, tak HTTP/3 spustíme pro všechny, kdo používají WEDOS Global Protection (WGP lze používat i pokud máte hosting u konkurence).
A proč by Vás HTTP/3 měl zajímat?
HTTP/3 je nejnovější verze protokolu HTTP, který je základem pro přenos dat na internetu a díky němu můžete přistupovat na webové stránky.
Dřívější verze HTTP (HTTP/1 a HTTP/2) využívají protokol TCP (Transmission Control Protocol) pro přenos paketů. TCP je spolehlivý, protože zajišťuje, že všechny pakety dorazí na správné místo a v správném pořadí. Ale má to také nevýhody – pokud se jeden paket ztratí nebo se zpozdí, všechny následující pakety musí čekat, dokud se ztracený paket neobjeví. To se nazývá Head-of-line blocking (blokování hlavy řady).
HTTP/3 místo toho používá novější protokol nazvaný QUIC, který byl navržen tak, aby překonal problém Head-of-line blocking. QUIC používá UDP (User Datagram Protocol), který nevyžaduje, aby pakety dorazily v určitém pořadí. To znamená, že pokud se jeden paket ztratí nebo zpozdí, ostatní pakety mohou pokračovat bez čekání.
Výhody HTTP/3 zahrnují:
- Lepší výkon v nestabilních sítích: HTTP/3 může efektivněji přenášet data v sítích, které jsou nestabilní nebo mají vysokou odezvu, jako je například mobilní internet. U zákazníků s mobily v špatně pokrytých oblastech, ve vlaku atd. získáte konkurenční výhodu.
- Rychlejší připojení: QUIC umožňuje rychlejší nastavení nových spojení, protože je potřeba k nastavení spojení mezi klientem a serverem méně kroku.
- Zabezpečení je výchozí: QUIC využívá šifrování jako standard, což zlepšuje zabezpečení dat.
- Žádné Head-of-line blocking: QUIC umožňuje, aby pakety pokračovaly, aniž by musely čekat na ztracené nebo zpožděné pakety. To zlepšuje rychlost a efektivitu přenosu dat.
S WEDOS Global Protection bude Váš web nejen chráněn, ale bude i díky celosvětové síti WEDOS Global rychlejší (webová CDN, Anycast DNS). Stejně jako HTTP/3 tak i IPv6 anebo HTTPS, lze používat i když jej váš poskytovatel hostingu nepodporuje. Další technologie připravujeme.
Vlastní certifikáty na WEDOS Global Protection
Možnost používat vlastní SSL/TLS certifikát ve WEDOS Global Protection byl další z úkolů, který jsme měli v našem to do listu. V červenci jsme provedli poslední testování a již zanedlouho se objeví v administraci u tarifů Expert a Ultimate.
Statistik WEDOS Global Protection
Statistiky byly v červenci ovlivněny hlavně menší aktivitou útočníků. Desítky milionů requestů formou L7 HTTP flood útoku nikdo nezkusil. Pro útočníky je to prostě plýtvání zdroji. Zkusí několik stovek IP adres a synchronizovaný útok, který má způsobit problém než se sepne specifická ochrana, uplatní limity, zapne lokální blokování atd. Většinou je to pár vteřin, pak to vypnou. Velké útoky jsou tak spíše výjimkou a nový standard L7 HTTP flood je tak krátký útok v nižších jednotkách minut.
Přísnější jsme také k provozu ze služeb VPN, které jsou zdarma anebo nabízí období zdarma. Z IP adres těchto služeb jde prakticky jen škodlivý provoz. Do budoucna přístupy z těchto IP adres budou muset projít vždy testem na přesměrování.
Následující statistiky jsou z reverzních proxy serverů na jednotlivých bodech, které odbavují požadavky očištěné od L3/L4 DDoS útoků.
Co jsou L3/L4 útoky?
DDoS útoky na L3 a L4 vrstvě se zaměřují na síťovou a transportní vrstvu a využívají různé techniky, jak zahlcovat cílové servery nebo zařízení.
Síťová vrstva (L3) – zajišťuje směrování dat mezi různými sítěmi pomocí logických adres (IP).
Transportní vrstva (L4) – zajišťuje spolehlivý a řízený přenos dat mezi koncovými body pomocí protokolů jako TCP nebo UDP.
Dále do přehledu nejsou zahrnuty některé požadavky, které používáme pro monitorování dostupnosti a fungování jednotlivých bodů, aby statistiky nezkreslovaly.
Ke konci července počet chráněných domén WEDOS Global Protection narostl na 4278 domén (+524). Část jsou domény, které přidala podpora kvůli útokům anebo to jsou to náročné weby, kterým výrazně pomáhá automatická cache na proxy serveru. Mimo nás využívá WEDOS Global Protection 1029 uživatelů (+89).
V květnu bylo zaznamenáno celkem 3 568 662 296 požadavků (+5,34 %) z 8 641 401 (+11,79 %) unikátních IP adres, které směřovaly na chráněné domény. V průměru za den odbavily proxy servery 115 118 138 požadavků.
Co se týká nárůstu unikátních IP adres, tak vliv na to má sezónnost. Většina uživatelů WGP je stále z ČR a SR. Jejich návštěvníci se více připojovali ze zahraničí. Dále přibývá velkých zákazníků ze zahraničí. Máme tam i weby ministerstev (ne ČR, ti se s námi o naší ochraně nechtějí ani bavit). To je jiné složení návštěvnosti.
Tím jak vylepšujeme algoritmy, které dávají dočasně IP adresy na blacklisty, tak klesá počet požadavků, které musíme blokovat na reverzní proxy (limity přístupů, limity spojení a webový firewall).
Statistiky nudících se ochran 🙂
- L7 DDoS – zachycených limitováním přístupů (HTTP flood):
1 667 752 - L7 DDoS – zachycených problémových spojení (Slowloris, Connection Exhaustion atd.):
1 657 563 - Blokováno pravidlem WAF: 10 662 108
- Další blokování L7: 5 581 467
Tato čísla jsou jen první pokusy. Jakmile se jedná o opakované pokusy, které naberou na síle (třeba desítky tisíc problémových na za minutu), tak IP adresa jde na blacklist. Je to však složitější, protože k různým IP se chováme odlišně. Stejně tak o odlišným formám útoků.
Příští report budou statistiky vyšší. Po testovacím provozu nasadíme všem chráněným WordPress webům ochranu na formulář s přihlášením. V posledních týdnech evidujeme extrémní nápor brute force útoků na prolomení hesla. Útočníci si počínají značně nevhodně a perou to do formulářů ve velkém, což vede k vyčerpání přidělených serverových zdrojů. Pokud v posledních týdnech evidujete občasnou nedostupnost anebo zpomalení WordPress toto může být důvod.
My to vyřešíme tak, že když se někdo bude chtít přihlásit tak bude muset projít přes přesměrování anebo captcha v případě podezřelé IP.
L3/L4 DDoS útoky
Popravdě s pořádnými L3/L4 útoky se v posledních měsících už moc nesetkáváme. Dříve jsme útoky 10 Gbps+ zažívali několikrát do týdne, poslední byl v červnu.
V červenci jich na nás šlo sice 6192, ale nejsilnější byl 7,7 Gbps a 2,9 milionů paketů za vteřinu ve špičce a mířil na jednoho našeho zákazníka s VPS.
Nejsilnější L7 DDoS útoky
Červenec charakterizovaly dvě věci. Zvýšená aktivita útoků ze sítí poskytující VPN. Jedná se přitom o velkou škálu útoků, od L7 HTTP flood, přes hledání zranitelností v oblíbených redakčních systémech až po SQLi útoky. Prohlášením, že VPN zdarma jsou ve skutečnosti skryté botnety, v červenci a i v srpnu rozhodně není daleko od pravdy.
Další zajímavostí byl zvýšený počet útoků směřující na stránky herních webů a serverů. Některé byly celkem silné. Tento druh webů je pod útoky pravidelně, ovšem v červenci více než je to obvyklé. Pokud podobný projekt provozujete rozhodně zvažte WEDOS Global protection – viz. WEDOS Global Protection pro Herní servery, Gamingové a eSports platformy.
1. Útok na web herního serveru přes 2M požadavků za minutu
Jednalo se o nejsilnější útok co do počtu požadavků ve špičce za minutu. Podle logů to bylo přes 2 041 522 za minutu. Celkem šlo na cíl téměř 4M požadavků z 2693 unikátních IP adres. Útočníci vědí, že tyto útoky WGP začne rychle blokovat a nejaktivnější IP skončí pro jistotu na blacklistu, což je vidět i na grafu. Zajímavé bylo, že tentokrát byli netrpěliví a zkusili to za necelých 10 minut znovu, ovšem nejaktivnější IP adresy, které nikomu nebudou chybět už byly na blacklistu a o ten zbytek se postaral WAF.
2. Útok na web herního serveru přes 1M požadavků za minutu
Další útok byl opravdová bleskovka. Trval něco málo přes minutu. Celkem 1,25M požadavků z 1616 UIP.
Tento útok byl zajímavý, protože skutečná hrubá síla, šla přes lokalitu v Singapuru a Dallasu. Jakékoliv centralizované útoky, může daleko efektivněji řešit daná lokalita aniž by to ovlivnilo zbytek světa. Například v nouzi bychom na té lokalitě mohli spustit pro všechny (mimo whitelist) kontrolu přes javascript redirekt anebo captcha.
3. místo útok na web herního serveru přes 633 tisíc požadavků za minutu
Další web herního serveru byl pod útokem v druhé polovině července. Opět velmi krátký útok něco přes minutu. 862 tisíc requestů z 692 unikátních IP adres. Ve špičce “jen” 633 468 za minutu. Tady to vypadá, že se úplně nezdařila celosvětová synchronizace útoku, takže ochrany to měly snadné.
Závěr
Kdokoliv může využívat WEDOS Global Protection pro rychlejší načítání a ochranu svých webů. Službu je možné používat bez nutnosti stěhovat hardware anebo měnit poskytovatele webhostingu. Stačí nasměřovat doménu na DNS WEDOS Global a přidat doménu do administrace WEDOS Global Protection.