{"id":55111,"date":"2016-08-23T12:58:36","date_gmt":"2016-08-23T10:58:36","guid":{"rendered":"https:\/\/blog.wedos.cz\/?p=55111"},"modified":"2021-01-13T13:31:03","modified_gmt":"2021-01-13T12:31:03","slug":"vyjadreni-k-problemu-s-konektivitou-u-vps-dne-12-08-2016","status":"publish","type":"post","link":"https:\/\/blog.wedos.com\/cs\/vyjadreni-k-problemu-s-konektivitou-u-vps-dne-12-08-2016","title":{"rendered":"Vyj\u00e1d\u0159en\u00ed k probl\u00e9mu s konektivitou u VPS dne 12.08.2016"},"content":{"rendered":"\n

Minul\u00fd t\u00fdden, v p\u00e1tek odpoledne jsme se pot\u00fdkali s probl\u00e9my s konektivitou u VPS. Od po\u010d\u00e1tku na\u0161\u00ed \u010dinnosti si zakl\u00e1d\u00e1me na otev\u0159enosti a tak dovolte, abychom ud\u011blali n\u011bjak\u00fd soupis ud\u00e1lost\u00ed a vysv\u011btlili co se vlastn\u011b stalo.\u00a0<\/p>\n\n\n\n\n\n\n\n

Co se p\u0159ihodilo<\/h2>\n\n\n\n

V p\u00e1tek dne 12. 8. 2016 v dob\u011b od 13:39  do 16:20 jsme m\u011bli zhor\u0161enou dostupnost na\u0161ich VPS. V pr\u016fb\u011bhu t\u00e9to doby m\u011bly virtu\u00e1ln\u00ed servery ztr\u00e1tovost paket\u016f cca 50 %, n\u011bkdy to bylo v\u00edce, jindy m\u00e9n\u011b, samotn\u00e9 servery fungovaly zcela bez probl\u00e9m\u016f.<\/p>\n\n\n\n

P\u0159\u00ed\u010dinnou byl zcela nov\u00fd typ \u00fatoku na na\u0161i infrastrukturu. D\u00e1le v n\u00e1sleduj\u00edc\u00edch cca 72 hodin\u00e1ch jsme d\u011blali n\u011bkolik \u00faprav na s\u00edti a tak jsme museli neprodlen\u011b zas\u00e1hnout do nastaven\u00ed a do\u0161lo k n\u011bkolika dal\u0161\u00edm drobn\u00fdm v\u00fdpadk\u016fm, zejm\u00e9na u virtu\u00e1ln\u00edch server\u016f pou\u017e\u00edvaj\u00edc\u00edch IPv6.<\/p>\n\n\n\n

Situace se okrajov\u011b dotkla na\u0161eho webu a dostupnosti podpory. N\u00e1\u0161 web byl n\u011bkdy pomalej\u0161\u00ed a chvilkami neodpov\u00eddal. Z\u00e1kaznick\u00e1 podpora byla p\u0159et\u00ed\u017eena a nesta\u010dila odpov\u00eddat na v\u0161echny po\u017eadavky klient\u016f a chat (jako hlavn\u00ed n\u00e1stroj na\u0161\u00ed komunikace) ob\u010das vypad\u00e1val, proto\u017ee na n\u011bj sm\u011b\u0159oval tak\u00e9 \u00fatok. Sna\u017eili jsme se tak stru\u010dn\u011b informovat o probl\u00e9mech na soci\u00e1ln\u00edch s\u00edt\u00edch.<\/p>\n\n\n\n

Zcela bez v\u00fdpadk\u016f byly webhostingy. Dedikovan\u00fdch server\u016f se probl\u00e9m dotkl na cca minutu, ne\u017e jsme je p\u0159esm\u011brovali na jin\u00fd router.<\/p>\n\n\n\n

Situace se dotkla cca 5.900 slu\u017eeb. Bohu\u017eel se jednalo o virtu\u00e1ln\u00ed servery, kde \u010dasto mohou b\u00fdt n\u00e1ro\u010dn\u00e9 projekty. Ostan\u00ed slu\u017eby – 80.000 webhosting\u016f (celkov\u011b 130.000 web\u016f), 11.000 WEDOS disk\u016f a 246.000 dom\u00e9n fungovalo bez probl\u00e9m\u016f. <\/p>\n\n\n\n

\u00davodn\u00ed omluva<\/h2>\n\n\n\n

\u00davodem se omlouv\u00e1me za komplikace, kter\u00e9 na\u0161im z\u00e1kazn\u00edk\u016fm nastaly.<\/strong> Popsan\u00e1 situace n\u00e1s velmi mrz\u00ed. Odnesli jsme si z toho v\u0161ak mnoho zku\u0161enost\u00ed. Ur\u010dit\u011b n\u00e1s to posunulo vp\u0159ed a ur\u010dit\u011b d\u00edky tomu m\u016f\u017eeme nab\u00edzet lep\u0161\u00ed slu\u017eby do budoucna.<\/p>\n\n\n\n

Pro\u010d tak dlouho trv\u00e1 vysv\u011btlen\u00ed?<\/h2>\n\n\n\n

D\u016fvodem je to, \u017ee jsme ur\u010ditou dobu analyzovali celou situaci, abychom dali dohromady p\u0159esn\u011b co se stalo a z\u00e1rove\u0148 jsme museli ud\u011blat n\u011bkolik protiopat\u0159en\u00ed, aby se podobn\u00e1 situace u\u017e neopakovala. Nemohli jsme zve\u0159ejnit n\u011bkter\u00e9 informace bez toho, abychom m\u011bli p\u0159esn\u011b ov\u011b\u0159enou situaci a zmapovan\u00fd pr\u016fb\u011bh. Z\u00e1rove\u0148 jsme nemohli zve\u0159ejnit detaily bez toho, abychom nebyli na podobnou situaci p\u0159ipraveni do budoucna. Dali bychom jen n\u00e1vod na to, aby se podobn\u00e1 situace opakovala.<\/p>\n\n\n\n

DDoS ochrana a jej\u00ed v\u00fdvoj u WEDOS<\/h2>\n\n\n\n

P\u0159ed cca 2 roky jsme se za\u010dali pot\u00fdkat s v\u011bt\u0161\u00ed vlnou DDoS \u00fatok\u016f. Nejprve jsme situaci \u0159e\u0161ili ru\u010dn\u011b, n\u00e1sledn\u011b jsme testovali n\u011bkolik r\u016fzn\u00fdch \u0159e\u0161en\u00ed (v\u010detn\u011b „krabi\u010dek“ za des\u00edtky milion\u016f). Nakonec jsme se rozhodli pro \u0159e\u0161en\u00ed, kter\u00e9 je postaven\u00e9 p\u0159ev\u00e1\u017en\u011b na opensource. M\u016f\u017eeme to ovl\u00e1dat, v\u00edme, co to d\u011bl\u00e1 a m\u016f\u017eeme to roz\u0161i\u0159ovat. Bohu\u017eel n\u011bkter\u00e9 hrozby jsou poprv\u00e9. Nap\u0159\u00edklad jako ta v p\u00e1tek a my nejprve mus\u00edme n\u00e1\u0161 syst\u00e9m  „nau\u010dit ochranu“, aby p\u0159\u00ed\u0161t\u011b u\u017e v\u0161e \u0159e\u0161il s\u00e1m a k tomu pot\u0159ebujeme d\u016fkladn\u011b analyzovat situaci a ud\u011blat n\u011bkolik \u00faprav a nastaven\u00ed.<\/p>\n\n\n\n

Po n\u011bkolika m\u011bs\u00edc\u00edch v\u00fdvoje a test\u016f jsme na podzim 2014 nasadili \u0159e\u0161en\u00ed, kter\u00e9 neust\u00e1le zdokonalujeme a roz\u0161i\u0159ujeme. V podstat\u011b se jedn\u00e1 o 11 velmi siln\u00fdch server\u016f, kter\u00e9 vyhodnocuj\u00ed v\u0161echny toky v s\u00edti a na z\u00e1klad\u011b toho aplikuj\u00ed r\u016fzn\u00e1 pravidla pro filtraci nebo zm\u011bny v s\u00edti. <\/p>\n\n\n\n

Za 21 m\u011bs\u00edc\u016f jsme odhalili a odfiltrovali neuv\u011b\u0159iteln\u00fdch 257.000 \u00fatok\u016f na n\u00e1s nebo na\u0161e z\u00e1kazn\u00edky. Nej\u010dast\u011bj\u0161\u00edm c\u00edlem \u00fatok\u016f je n\u00e1\u0161 web a na\u0161e routery. N\u011bkter\u00e9 \u00fatoky byly siln\u00e9 v des\u00edtk\u00e1ch Gbps a byly to miliony paket\u016f za sekundu. Syst\u00e9m fungoval a funguje skv\u011ble. Shodou okolnost\u00ed jsme p\u0159ed \u010dasem slavili rok bez (nepl\u00e1novan\u00fdch) v\u00fdpadk\u016f. <\/p>\n\n\n\n

V n\u00e1vrhu ochrany jsme vych\u00e1zeli ze situac\u00ed, kter\u00e9 jsme u\u017e \u0159e\u0161ili a z\u00e1rove\u0148 s formou a zp\u016fsoby \u00fatok\u016f, kter\u00e9 jsme m\u011bli tak\u0159ka na denn\u00edm po\u0159\u00e1dku. <\/p>\n\n\n\n

Doposud jsme 97% v\u0161ech \u00fatok\u016f \u0159e\u0161ili na IPv4, p\u0159i\u010dem\u017e ji\u017e cca 13% datov\u00e9ho toku m\u00e1me na IPv6. Jen pom\u011brn\u011b mal\u00e1 \u010d\u00e1st \u00fatok\u016f byla na IPv6. Syst\u00e9m v\u017edy v\u0161e zachytil, vy\u0159e\u0161il a my jsme si v klidu mohli pracovat a nemuseli jsme nic \u0159e\u0161it.<\/p>\n\n\n\n

Do DDoS ochrany jsme investovali n\u011bkolik milion\u016f, tis\u00edce hodin pr\u00e1ce a neust\u00e1le ochranu posouv\u00e1me d\u00e1l a d\u00e1l. V na\u0161\u00ed s\u00edti provozujeme nejv\u00edce webhostig\u016f a virtu\u00e1ln\u00edch server\u016f v \u010cR.<\/p>\n\n\n\n

\u00dato\u010dn\u00edci neust\u00e1le p\u0159ich\u00e1zej\u00ed s nov\u00fdmi hrozbami a maj\u00ed nov\u00e9 metody \u00fatok\u016f. D\u0159\u00edve to bylo pou\u017e\u00edv\u00e1n\u00ed „hrub\u00e9 s\u00edly“, kdy c\u00edlem bylo „ucpat“ a p\u0159et\u00ed\u017eit na\u0161\u00ed infrastrukturu. Postupn\u011b jsme navy\u0161ovali kapacity linek do internetu (a\u017e na sou\u010dasn\u00fdch 70 Gbps). Nau\u010dili jsme se to v\u0161echno je\u0161t\u011b filtrovat a tak „hrub\u00e1 s\u00edla“ nen\u00ed natolik \u00fa\u010dinn\u00e1. Proto \u00fato\u010dn\u00edci p\u0159ich\u00e1zej\u00ed s jin\u00fdmi metodami. Pou\u017e\u00edvaj\u00ed vysp\u011bl\u00e9 metody \u00fatok\u016f, kdy nejde o „hrubou s\u00edlu“, ale o inteligentn\u00ed \u00fatoky. R\u016fzn\u00e9 pakety, kter\u00e9 d\u011blaj\u00ed probl\u00e9my v s\u00edti nebo na koncov\u00fdch stroj\u00edch. Tyto nov\u00e9 druhy \u00fatok\u016f jsou h\u016f\u0159e zachytiteln\u00e9 a h\u016f\u0159e se p\u0159ed nimi br\u00e1n\u00ed. Pokud p\u0159ijdou \u00fato\u010dn\u00edci s n\u011b\u010d\u00edm nov\u00fdm, tak my mus\u00edme celou situaci analyzovat a n\u00e1sledn\u011b mus\u00edme syst\u00e9m p\u0159ipravit tak, aby se nov\u00e9 hrozb\u011b dok\u00e1zal br\u00e1nit do budoucna. P\u0159esn\u011b to se stalo v p\u00e1tek – nov\u00e1 hrozba, anal\u00fdza a nyn\u00ed implementujeme ji\u017e n\u011bkolik dn\u00ed r\u016fzn\u00e1 protiopat\u0159en\u00ed. <\/p>\n\n\n\n

Nesp\u00edme a proto IDS\/IPS<\/h2>\n\n\n\n

Cca p\u0159ed rokem jsme za\u010dali chystat IDS\/IPS ochranu pro na\u0161e z\u00e1kazn\u00edky. Jedn\u00e1 se o inteligentn\u00ed formu ochrany proti \u00fatok\u016fm na aplikace z\u00e1kazn\u00edk\u016f. Um\u00ed nap\u0159\u00edklad blokovat \u00fato\u010dn\u00edky, kte\u0159\u00ed jen p\u0159et\u011b\u017euj\u00ed weby a vy\u010derp\u00e1vaj\u00ed voln\u00e9 procesy, sna\u017e\u00ed se prolomit z\u00e1kaznick\u00e1 hesla nebo zneu\u017e\u00edvaj\u00ed r\u016fzn\u00e9 bezpe\u010dnostn\u00ed chyby v redak\u010dn\u00edch syst\u00e9mech. Dok\u00e1\u017eeme tak ochr\u00e1nit z\u00e1kaznick\u00e9 weby p\u0159ed napaden\u00edm, proto\u017ee se pou\u017e\u00edvaj\u00ed pravidla pro filtraci pro des\u00edtky tis\u00edc nej\u010dast\u011bj\u0161\u00edch bezpe\u010dnostn\u00edch hrozeb. V\u0161e je online a v re\u00e1ln\u00e9m \u010dase. Pokud tedy nap\u0159\u00edklad \u00fato\u010dn\u00edk chce na v\u00e1\u0161 web p\u0159istupovat na str\u00e1nku, kter\u00e1 m\u016f\u017ee b\u00fdt napadnuteln\u00e1 a potencion\u00e1ln\u00ed \u00fato\u010dn\u00edk po\u0161le po\u017eadavek, kter\u00fd m\u016f\u017ee znamenat napaden\u00ed, tak je tento po\u017eadavek blokov\u00e1n d\u0159\u00edve ne\u017e dojde na server.<\/p>\n\n\n\n

Tento dal\u0161\u00ed zp\u016fsob ochrany je velmi n\u00e1ro\u010dn\u00fd technicky a je velmi slo\u017eit\u00fd na p\u0159\u00edpravu, spu\u0161t\u011bn\u00ed, nastaven\u00ed a n\u00e1sledn\u00fd provoz. Zkou\u0161eli jsme i hotov\u00e1 (placen\u00e1) \u0159e\u0161en\u00ed (v\u010detn\u011b hardwarov\u00fdch), ale po v\u0161ech testech jsme se op\u011bt rozhodli pro pou\u017eit\u00ed opensource \u0159e\u0161en\u00ed s  t\u00edm, \u017ee si n\u011bkter\u00e9 \u010d\u00e1sti zaplat\u00edme. V pr\u016fb\u011bhu leto\u0161n\u00edho jara jsme \u0159e\u0161ili velk\u00e9 mno\u017estv\u00ed \u00faprav na na\u0161\u00ed s\u00edti a to za \u00fa\u010delem, abychom mohli tuto ochranu nab\u00eddnout (v prvn\u00ed f\u00e1zi) pro webhostingy. Nev\u011b\u0159ili byste kolik je to pr\u00e1ce, ale jak je to z\u00e1rove\u0148 \u00fa\u010dinn\u00e9. Jen po cca t\u00fddnu po nasazen\u00ed jsme sn\u00ed\u017eili pr\u016fm\u011brn\u00fd datov\u00fd tok do na\u0161\u00ed s\u00edt\u011b o cca 200.000 paket\u016f za sekundu. Byl to jen zbyte\u010dn\u00fd provoz, kter\u00fd u n\u00e1s p\u0159istupoval na servery a generoval z\u00e1t\u011b\u017e nebo byl bezpe\u010dnostn\u00edm rizikem. Syst\u00e9m tohle v\u0161e automaticky blokoval.<\/p>\n\n\n\n

Pro\u010d to zmi\u0148ujeme? D\u016fvod je ten, \u017ee jsme m\u011bli trochu obavu zda tato ochrana (a v\u0161echny zm\u011bny s t\u00edm spojen\u00e9) nem\u011bla vliv na p\u00e1te\u010dn\u00ed situaci. Trochu jsme znejistili a bylo to prvn\u00ed, co jsme vypnuli. Postupn\u011b syst\u00e9m vrac\u00edme u webhosting\u016f do provozu.<\/p>\n\n\n\n

IDS\/IPS je dal\u0161\u00ed obrovsk\u00fd krok dop\u0159edu. U webhostingu jsou v\u00fdsledky velmi pozitivn\u00ed. Jsou to dal\u0161\u00ed miliony investovan\u00e9 do ochrany na\u0161ich klient\u016f a dal\u0161\u00ed obrovsk\u00e9 \u00fasil\u00ed. Problematice se v\u011bnujeme cca rok velmi intenzivn\u011b.<\/p>\n\n\n\n

P\u0159\u00edznaky situace z minul\u00e9ho t\u00fddne<\/h2>\n\n\n\n

Jednalo se o zcela novou formu \u00fatoku. Mimo\u0159\u00e1dn\u011b rafinovanou, z\u0159ejm\u011b dlouhodob\u011b pl\u00e1novanou a profesion\u00e1ln\u011b p\u0159ipravenou. Ne\u0161lo o n\u011bjakou n\u00e1hodu nebo n\u011bjak\u00fd pokus za p\u00e1r dolar\u016f, ale o to, \u017ee \u00fato\u010dn\u00edci m\u011bli i \u010d\u00e1st v\u00fdpo\u010detn\u00edho v\u00fdkonu pou\u017eit\u00e9ho pro \u00fatoky p\u0159ipravenou u n\u00e1s (norm\u00e1ln\u011b na placen\u00fdch slu\u017eb\u00e1ch).<\/p>\n\n\n\n

\u00datok nebyl nebezpe\u010dn\u00fd silou, proto\u017ee ve \u0161pi\u010dce jsme m\u011bli cca 1,5 milionu problematick\u00fdch paket\u016f za sekundu p\u0159ich\u00e1zej\u00edc\u00edch zvenku. Nebyl nebezpe\u010dn\u00fd ani datov\u00fdm tokem, proto\u017ee naprost\u00e1 v\u011bt\u0161ina dat byla z\u00e1m\u011brn\u011b jen ve form\u011b tzv. TCP+SYN po\u017eadavk\u016f. To jsou mal\u00e9 pakety, mal\u00fd objem dat, kter\u00fd m\u00e1 za c\u00edl p\u0159et\u00ed\u017eit (vy\u010derpat v\u0161echny voln\u00e9 sloty, aby server nemohl p\u0159ij\u00edmat dal\u0161\u00ed spojen\u00ed). Ochrana proti TCP+SYN \u00fatok\u016fm nen\u00ed zcela jednoduch\u00e1, ale my ji m\u00e1me funk\u010dn\u00ed a dlouhodob\u011b otestovanou a za norm\u00e1ln\u00edch okolnost\u00ed by nikdo \u017e\u00e1dn\u00fd \u00fatok nepoznal. Vygenerovat pom\u011brn\u011b siln\u00fd TCP+SYN \u00fatok lze mnoha n\u00e1stroji. Snadno, levn\u011b, \u00fa\u010dinn\u011b a nepot\u0159ebujete k tomu skoro nic. <\/p>\n\n\n\n

Siln\u00e9 \u00fatoky byly vedeny z na\u0161\u00ed s\u00edt\u011b u virtu\u00e1ln\u00edch server\u016f a to na n\u00e1\u0161 web, na\u0161e routery a na dal\u0161\u00ed VPS v na\u0161\u00ed s\u00edti.<\/p>\n\n\n\n

P\u0159es palubu v\u00e1s mohou hodit jen ti, kte\u0159\u00ed jsou s v\u00e1mi na jedn\u00e9 lodi<\/h2>\n\n\n\n

Ano, je tomu tak. Nejv\u011bt\u0161\u00edm probl\u00e9mem minul\u00fd t\u00fdden bylo to, \u017ee na n\u00e1s \u00fato\u010dili na\u0161i vlastn\u00ed z\u00e1kazn\u00edci. Co\u017ee? Ano, na\u0161i z\u00e1kazn\u00edci, respektive n\u011bkolik z\u00e1kaznick\u00fdch VPS \u00fato\u010dilo na n\u00e1s, na n\u00e1\u0161 web a na\u0161e routery zevnit\u0159. <\/p>\n\n\n\n

Bohu\u017eel jsme v n\u00e1vrhu ochrany nepo\u010d\u00edtali p\u0159\u00edmo s podobnou situac\u00ed. Stav byl takov\u00fd, \u017ee jsme na filtraci \u00fatok\u016f z vlastn\u00ed s\u00edt\u011b navz\u00e1jem mezi sebou nem\u011bli implementovanou ochranu a zat\u00edm jsme ji jen prom\u00fd\u0161leli a p\u0159ipravovali jej\u00ed nasazen\u00ed. <\/p>\n\n\n\n

\u00dato\u010dn\u00edci byli rychlej\u0161\u00ed a objednali si u n\u00e1s r\u016fzn\u00e1 VPS, zaplatili a za\u00fato\u010dili na n\u00e1s zevnit\u0159. \u00dato\u010dili na n\u00e1s (n\u00e1\u0161 web a routery) a na dal\u0161\u00ed (ostatn\u00ed z\u00e1kaznick\u00e1) VPS u n\u00e1s. \u00datoky byly dosti siln\u00e9 (mnohon\u00e1sobn\u011b siln\u011bj\u0161\u00ed, ne\u017e zvenku). Ve \u0161pi\u010dce to bylo cca 6 milion\u016f problematick\u00fdch paket\u016f za sekundu, kter\u00e9 se nav\u00edc r\u016fzn\u011b „mno\u017eily“ t\u00edm, \u017ee v s\u00edti kolovaly odpov\u011bdi od VPS a router\u016f na n\u011b\u017e se \u00fato\u010dilo.<\/p>\n\n\n\n

Nev\u00edme, zda \u00fato\u010dili jen \u00fato\u010dn\u00edci, kte\u0159\u00ed si koupili placen\u00e9 slu\u017eby nebo byly zneu\u017eit\u00e9 i VPS b\u011b\u017en\u00fdch z\u00e1kazn\u00edk\u016f (pomoc\u00ed n\u011bjak\u00fdch bezpe\u010dnostn\u00edch chyb), ale ani to nelze vylou\u010dit. <\/p>\n\n\n\n

Co se vlastn\u011b stalo?<\/h2>\n\n\n\n

Prob\u011bhl plo\u0161n\u00fd \u00fatok na n\u011bkolik stovek VPS pomoc\u00ed IPv4, co\u017e byl z\u0159ejm\u011b zast\u00edrac\u00ed man\u00e9vr pro siln\u00fd \u00fatok na IPv6. IPv6 provoz byl mnohem siln\u011bj\u0161\u00ed a agresivn\u011bj\u0161\u00ed. \u00datoky sm\u011b\u0159ovaly na stovky tis\u00edc IP IPv6, kter\u00e9 jsou u n\u00e1s pou\u017eit\u00e9 (respektive p\u0159id\u011blen\u00e9) na virtu\u00e1ln\u00edch serverech. Nejednalo se o IP adresy pou\u017e\u00edvan\u00e9 re\u00e1ln\u011b jednotliv\u00fdmi slu\u017ebami, ale strojov\u011b generovan\u00e9 IPv6.<\/p>\n\n\n\n

Na n\u00e1\u0161 web \u0161lo zvenku n\u011bkolik des\u00edtek tis\u00edc po\u017eadavk\u016f za sekundu. Z vnit\u0159n\u00ed s\u00edt\u011b a ze strany na\u0161ich virtu\u00e1ln\u00edch server\u016f to bylo mnohem mnohem v\u00edce.<\/p>\n\n\n\n

Probl\u00e9m spo\u010d\u00edval v tom, \u017ee virtu\u00e1ln\u00ed servery \u00fato\u010dily na n\u00e1\u0161 web a na\u0161e routery. N\u00e1\u0161 web dost\u00e1val po\u017eadavky na spojen\u00ed v \u0159\u00e1du n\u011bkolika stovek tis\u00edc za sekundu.<\/p>\n\n\n\n

Routery \u0159e\u0161ily po\u017eadavky ve form\u011b odpov\u011bd\u00ed s t\u00edm, \u017ee takov\u00e1 IP adresa u n\u00e1s nehostuje. Vzhledem k tomu, \u017ee k n\u00e1m p\u0159ich\u00e1zelo cca 1,5 milionu po\u017eadavk\u016f za sekundu na neexistuj\u00edc\u00ed IP adresy (respektive existuj\u00edc\u00ed, ale re\u00e1ln\u011b nepou\u017e\u00edvan\u00e9), tak routery odpov\u00eddaly zp\u011bt a t\u00edm se datov\u00fd tok zdvojn\u00e1sobil. To by po\u0159\u00e1d nebylo nic z\u00e1sadn\u00edho.<\/p>\n\n\n\n

V na\u0161\u00ed s\u00edti (u VPS) se potom odehr\u00e1valy dal\u0161\u00ed \u010d\u00e1sti \u00fatok\u016f a to ve form\u011b hromadn\u00e9ho generov\u00e1n\u00ed \u00fatok\u016f na IPv6 z rozsah\u016f, kter\u00e9 byly p\u0159id\u011bleny jednotliv\u00fdm VPS. Z\u00e1rove\u0148 jsme zaznamenali i \u00fatoky z IPv6, kter\u00e9 nespadaj\u00ed v\u016fbec do na\u0161eho rozsahu a provoz byl generov\u00e1n z n\u00e1mi hostovan\u00fdch VPS.<\/p>\n\n\n\n

Na na\u0161e hrani\u010dn\u00ed routery p\u0159ich\u00e1zela zvenku pom\u011brn\u011b velk\u00e1 \u010d\u00e1st provozu, kter\u00e1 byla z podvr\u017een\u00fdch IPv6 adres, co\u017e jsme \u00fasp\u011b\u0161n\u011b blokovali.<\/p>\n\n\n\n

Probl\u00e9m nastal v tom okam\u017eiku, kdy routery a jednotliv\u00e9 \u010dl\u00e1nky DDoS ochrany, za\u010daly aplikovat r\u016fzn\u00e1 bezpe\u010dnostn\u00ed nastaven\u00ed a za\u010daly po\u010d\u00edtat r\u016fzn\u00e9 kontroln\u00ed sou\u010dty pro IPv6 a cht\u011bly chr\u00e1nit jednotliv\u00e9 IP adresy na n\u011b\u017e byl sm\u011b\u0159ov\u00e1n \u00fatok. V tomto okam\u017eiku se sna\u017eily spo\u010d\u00edtat obrovsk\u00e9 mno\u017estv\u00ed \u00fato\u010d\u00edc\u00edch IP adres (tam se to d\u011bl\u00e1 podle prefix\u016f) a hlavn\u011b chr\u00e1nit n\u00e1mi provozovan\u00e9 IPv6 na n\u011b\u017e \u00fatok sm\u011b\u0159oval. T\u011bch, na kter\u00e9 byl aktivn\u00ed \u00fatok, bylo n\u011bkolik stovek tis\u00edc a celkov\u011b se syst\u00e9m sna\u017eil chr\u00e1nit prakticky cel\u00fd n\u00e1\u0161 rozsah… V tomto okam\u017eiku do\u0161lo k technick\u00fdm probl\u00e9m\u016fm. Routery a ochrana byly natolik p\u0159et\u00ed\u017een\u00e9, \u017ee p\u0159estaly reagovat odpov\u00eddaj\u00edc\u00edm zp\u016fsobem. Stroj\u016fm v s\u00edti do\u0161la pam\u011b\u0165 a t\u00edm za\u010daly probl\u00e9my. <\/p>\n\n\n\n

V\u00fdsledkem bylo to, \u017ee nakonec do\u0161lo k odpojen\u00ed fyzick\u00e9ho rozhran\u00ed a v tom okam\u017eiku nebyla jednotliv\u00e1 za\u0159\u00edzen\u00ed dosa\u017eiteln\u00e1 v r\u00e1mci na\u0161\u00ed p\u00e1te\u0159n\u00ed s\u00edt\u011b. A t\u00edm se za\u010daly aplikovat v\u00fdchoz\u00ed routovac\u00ed pravidla. Tam potom pakety putovaly v na\u0161\u00ed s\u00edti sem a tam, dokud jim nevypr\u0161el TTL. Tohle cyklen\u00ed se d\u011blo v r\u00e1mci p\u00e1te\u0159n\u00ed s\u00edt\u011b a byl to n\u00e1sledek a nem\u011blo to vliv na funk\u010dnost a nebyla to p\u0159\u00ed\u010dina. <\/p>\n\n\n\n

Jak jsme to \u0159e\u0161ili?<\/h2>\n\n\n\n

Nejprve jsme museli zjistit co a jak se d\u011bje. Vzhledem k probl\u00e9m\u016fm (p\u0159et\u00ed\u017een\u00ed) n\u011bkter\u00fdch \u010d\u00e1st\u00ed DDoS ochrany (zejm\u00e9na online senzor\u016f) jsme byli trochu paralyzov\u00e1ni a hledali jsme p\u0159\u00ed\u010diny, kde se dalo. Nam\u00edsto toho, aby jsme m\u011bli informace online ze senzor\u016f, tak jsme byli bez informac\u00ed nebo jsme je m\u011bli s velk\u00fdm zpo\u017ed\u011bn\u00edm. To velmi komplikovalo situaci a velmi slo\u017eit\u011b se n\u00e1m hledala p\u0159\u00ed\u010dina cel\u00e9 situace. <\/p>\n\n\n\n

N\u00e1sledn\u011b jsme odd\u011blili provoz IPv4 od IPv6 na jin\u00fd router, p\u0159esm\u011brovali provoz dal\u0161\u00edch slu\u017eeb na jin\u00fd router a t\u00edm jsme situaci stabilizovali a m\u011bli jsme \u010das \u0159e\u0161it provoz na IPv6.<\/p>\n\n\n\n

Na jedn\u00e9 stran\u011b jsme nastavili r\u016fzn\u00e1 omezen\u00ed a r\u016fzn\u00e9 filtry. Na druh\u00e9 stran\u011b jsme se sna\u017eili zjistit kdo \u00fato\u010d\u00ed. N\u011bkolik \u00fato\u010d\u00edc\u00edch VPS jsme vypnuli a dal\u0161\u00ed probl\u00e9mov\u00e9 jsme omezili. Krok za krokem jsme situaci stabilizovali. Mezit\u00edm jsme se sna\u017eili \u0159e\u0161it probl\u00e9m s DDoS ochranou, kter\u00e1 m\u011bla probl\u00e9m s nedostatkem RAM a v\u00fdkonu pro tak siln\u00fd  plo\u0161n\u00fd \u00fatok, kdy ochrana musela po\u010d\u00edtat ochranu pro stovky tis\u00edc nebo miliony nebo miliardy IP adres na kter\u00e9 se \u00fato\u010dilo a na druh\u00e9 stran\u011b, kter\u00e9 uto\u010dily… <\/p>\n\n\n\n

Kde byl probl\u00e9m u n\u00e1s?<\/h2>\n\n\n\n

Dobrota<\/h3>\n\n\n\n

Od po\u010d\u00e1tku p\u0159id\u011blujeme pro VPS IPv6 prefix \/112, co\u017e je 65.536 IPv6 adres pro ka\u017ed\u00e9 VPS. Je to obrovsk\u00e9 mno\u017estv\u00ed. Aktu\u00e1ln\u011b tak m\u00e1me p\u0159id\u011bleno (jen pro VPS) 393,216.000 IPv6 adres. Ano, cel\u00fdch 393 milion\u016f. Jen pro p\u0159edstavu – v\u0161ech IPv4 na cel\u00e9m sv\u011bt\u011b je maxim\u00e1ln\u011b 4 miliardy. Tak\u017ee, kdy\u017e to p\u0159irovn\u00e1me, tak na na\u0161ich VPS je p\u0159id\u011bleno 10% z celkov\u00e9ho po\u010dtu v\u0161ech IPv4 adres, kter\u00e9 jsou pou\u017e\u00edv\u00e1ny ve sv\u011bt\u011b (z pohledu IPv4) To je obrovsk\u00e9 \u010d\u00edslo. Mo\u017en\u00e1 jsme m\u011bli b\u00fdt opatrn\u011bj\u0161\u00ed, ale je to takov\u00fd standard ve sv\u011bt\u011b plus nav\u00edc n\u011bkter\u00e9 blacklisty \u010dasto pou\u017e\u00edvaj\u00ed blokace pr\u00e1v\u011b na s\u00edt\u011b \/112 apod. Tak\u017ee men\u0161\u00ed rozsahy by byly zase komplikovan\u011bj\u0161\u00ed pro ostatn\u00ed klienty.<\/p>\n\n\n\n

Root VPS<\/h3>\n\n\n\n

Klient\u016fm jsme neomezovali co mohou. Na na\u0161ich root VPS byla svoboda, kdy si klienti mohli nainstalovat co cht\u011bli a mohli si nastavit na s\u00ed\u0165ov\u00e9 rozhran\u00ed rozsahy, kter\u00e9 cht\u011bli pou\u017e\u00edvat a mohli si tak d\u011blat r\u016fzn\u00e9 vlany s\u00edt\u011b mezi VPS. Vzhledem k tomu bylo mo\u017en\u00e9 na jednom VPS m\u00edt re\u00e1ln\u011b pou\u017eit\u00fdch n\u011bkolik des\u00edtek tis\u00edc r\u016fzn\u00fdch IPv6, co\u017e je probl\u00e9m v situaci, kdy\u017e to ud\u011bl\u00e1 v\u00edce klient\u016f a ty potom chcete (nebo mus\u00edte) chr\u00e1nit.<\/p>\n\n\n\n

Masivnost a zejm\u00e9na plo\u0161nost \u00fatoku<\/h3>\n\n\n\n

Nepo\u010d\u00edtali jsme s t\u00edm, \u017ee budou \u00fatoky na stovky tis\u00edc IP adres sou\u010dasn\u011b. Prvky verze ochrany na to nebyly p\u0159ipraven\u00e9 a doposud jsme se s tak plo\u0161n\u00fdm \u00fatokem ani nesetkali. U\u017e jsme v\u0161ak ud\u011blali pot\u0159ebn\u00e9 \u00fapravy, aby podobnou situaci nebylo mo\u017en\u00e9 zopakovat.<\/p>\n\n\n\n

Boj proti \u00fatok\u016fm zevnit\u0159<\/h3>\n\n\n\n

Jak ji\u017e bylo zm\u00edn\u011bno, tak tohle jsme prom\u00fd\u0161leli, ale je\u0161t\u011b nep\u0159ipravili. Nyn\u00ed jsme p\u0159idali do vnit\u0159n\u00ed s\u00edt\u011b detailn\u00ed monitoring provozu. Doposud jsme m\u011bli monitoring na vstupu do na\u0161\u00ed s\u00edt\u011b, p\u0159ed DDoS ochranou a za DDoS ochranou. Uvnit\u0159 s\u00edt\u011b jsme m\u011bli k dispozici netflow, kter\u00e9 je zpo\u017ed\u011bn\u00e9 a nen\u00ed vhodn\u00e9 pro \u0159e\u0161en\u00ed DDoS \u00fatok\u016f. Nyn\u00ed ji\u017e m\u00e1me online detailn\u00ed p\u0159ehled a jsme tak schopni situaci l\u00e9pe vyhodnotit a \u0159e\u0161it (i zcela automaticky).<\/p>\n\n\n\n

O co \u0161lo? Trochu teorie<\/h2>\n\n\n\n

Pokud pou\u017eijeme informaci o IPv6 z Wikipedie<\/a>: „B\u011b\u017en\u011b jsou uv\u00e1d\u011bny p\u0159\u00edklady ukazuj\u00edc\u00ed, jak absurdn\u011b velk\u00fd je adresn\u00ed prostor IPv6. Obsahuje celkem 2128 <\/sup>(zhruba 3,4\u00d71038<\/sup>) adres, co\u017e odpov\u00edd\u00e1 po\u010dtu 5\u00d71028<\/sup> adres pro ka\u017ed\u00e9ho ze 7 miliard dnes \u017eij\u00edc\u00edch lid\u00ed. Nebo tak\u00e9 252 adres pro ka\u017edou hv\u011bzdu ve zn\u00e1m\u00e9m vesm\u00edru (milionkr\u00e1t v\u00edce adres pro ka\u017edou hv\u011bzdu, ne\u017e umo\u017e\u0148oval protokol IPv4 pro na\u0161i planetu). P\u0159\u00edpadn\u011b srovn\u00e1n\u00ed s po\u010dtem atom\u016f ve zn\u00e1m\u00e9m vesm\u00edru (1078<\/sup> a\u017e 10100<\/sup>).<\/em>„, tak zjist\u00edme jak obrovsk\u00fd po\u010det IPv6 je p\u0159ipraven pro pou\u017eit\u00ed. Ve srovn\u00e1n\u00ed s cca 4 miliardami IPv4 je to naprosto diametr\u00e1ln\u00ed rozd\u00edl.<\/p>\n\n\n\n

U WEDOS m\u00e1me p\u0159id\u011blen\u00fd rozsah s\u00edt\u011b pro IPv6 \/32, co\u017e je neuv\u011b\u0159iteln\u00fdch 4 294 967 296 pods\u00edt\u00ed \/64, p\u0159\u00ed\u010dem\u017e ka\u017ed\u00e1 z pods\u00edt\u00ed \/64 m\u00e1 18 446 744 073 709 551 616 IPv6. V\u00fdsledkem je tedy to, \u017ee WEDOS m\u00e1 p\u0159id\u011bleno 7,922816251\u00d710\u00b2\u2078 IPv6 adres a v\u0161echny k WEDOS sm\u011b\u0159ovaly a teoreticky na jakoukoliv z nich mohl v\u00e9st \u00fatok. Pro takov\u00fd po\u010det IP adres nen\u00ed v sil\u00e1ch \u017e\u00e1dn\u00e9 technologie po\u010d\u00edtat pakety proti t\u011bmto IP adres\u00e1m a chr\u00e1nit je p\u0159ed DDoS \u00fatoky.<\/p>\n\n\n\n

Srovnejme to s IPv4, kde m\u00e1me k dispozici 10 240 IPv4 adres.<\/p>\n\n\n\n

Jist\u011b ch\u00e1pete, \u017ee je rozd\u00edl na jedn\u00e9 stran\u011b chr\u00e1nit 7,922816251\u00d710\u00b2\u2078  nebo 10 240 IP adres a z\u00e1rove\u0148 to chr\u00e1n\u00edte proti jin\u00e9mu po\u010dtu \u00fato\u010dn\u00edk\u016f, U IPv6 m\u00e1te 3,4\u00d71038<\/sup> potencion\u00e1ln\u00edch \u00fato\u010dn\u00edk\u016f a u IPv4 jich m\u00e1te pouh\u00e9 cca 4 miliardy (232 adres (cca 4\u00d7109<\/sup> = 4 miliardy adres)). To jsou rozd\u00edly. Velk\u00e9 rozd\u00edly.<\/p>\n\n\n\n

Kdy\u017e \u0159e\u0161\u00edte DDoS ochranu, tak mus\u00edte pro ka\u017edou IP adresu nebo rozsah, kter\u00fd chr\u00e1n\u00edte po\u010d\u00edtat po\u010dty paket\u016f a sledovat (a po\u010d\u00edtat) o jak\u00e9 pakety jde a jak jsou \u0161kodliv\u00e9. U IPv4 to snadno spo\u010d\u00edt\u00e1te (vzhledem k v\u00fd\u0161e uveden\u00fdm po\u010dt\u016fm), ale u IPv6… M\u016f\u017eete to v\u017edy n\u011bjak seskupovat, ale u IPv6 nar\u00e1\u017e\u00edte na obrovsk\u00e1 \u010d\u00edsla a kdy\u017e to seskup\u00edte hodn\u011b, tak je ochrana ne\u00fa\u010dinn\u00e1.<\/p>\n\n\n\n

Kdy\u017e chcete ochranu \u0159e\u0161it a nechcete pou\u017e\u00edt jen oby\u010dejn\u00fd blackholing (zru\u0161en\u00ed IP adresy), ale chcete pakety filtrovat a doru\u010dit jen ty nez\u00e1vadn\u00e9, tak mus\u00edte po\u010d\u00edtat mnohem v\u00edce a mus\u00edte po\u010d\u00edtat i dal\u0161\u00ed z\u00e1le\u017eitosti. Ne\u0159e\u0161\u00edte tedy jen c\u00edlov\u00e9 IP adresy, ale i zdrojov\u00e9 rozsahy, provoz na jednotliv\u00fdch protokolech a dal\u0161\u00ed parametry (provoz na portech a velikosti paket\u016f). A to jsme u j\u00e1dra probl\u00e9mu. Na po\u010d\u00edt\u00e1n\u00ed pot\u0159ebujete v\u00fdkon a pam\u011b\u0165. Polo\u017eme si ot\u00e1zku, zda v dne\u0161n\u00ed dob\u011b existuje (ve sv\u011bt\u011b) mo\u017enost jak to spo\u010d\u00edtat a doc\u00edlit.<\/p>\n\n\n\n

IPv6 zab\u00edj\u00ed<\/h2>\n\n\n\n

Podobn\u00e9 situace budou asi n\u00e1sledovat i u mnoha jin\u00fdch poskytovatel\u016f. IPv6 je modern\u00ed a my sami jsme velk\u00fdm propag\u00e1torem, ale p\u00e1te\u010dn\u00ed situace je velk\u00fdm vyst\u0159\u00edzliv\u011bn\u00edm. Velk\u00fdm. Nejrad\u011bji bychom IPv6 ukon\u010dili…<\/p>\n\n\n\n

U IPv6 se pot\u00fdk\u00e1me se situacemi, kter\u00e9 u IPv4 nejsou a nikdy nebudou. Tohle je jen jedna z nich. Docela z\u00e1sadn\u00ed. <\/p>\n\n\n\n

U IPv6 jsou probl\u00e9my s ochranou, probl\u00e9my s nastaven\u00edm. V\u0161e pot\u0159ebuje mnohem v\u011bt\u0161\u00ed syst\u00e9mov\u00e9 prost\u0159edky, ne\u017e u IPv4.<\/p>\n\n\n\n

Zaveden\u00e1 opat\u0159en\u00ed<\/h2>\n\n\n\n

S\u00ed\u0165<\/h3>\n\n\n\n

Upravili jsme n\u011bjak\u00e9 v\u011bci v s\u00edti, rozd\u011blili tok IPv4 p\u0159es jin\u00e9 routery, ne\u017e provoz IPv6. Z hlediska stability v\u00fdznamn\u00fd krok. Upravili jsme filtrovac\u00ed pravidla pro IPv6. Mnohem d\u0159\u00edve po\u0161leme jednotliv\u00e9 IPv6 na tzv. blackholing a jejich provoz bude do na\u0161\u00ed s\u00edt\u011b zak\u00e1z\u00e1n a zmiz\u00ed z celosv\u011btov\u00fdch routovac\u00edch tabulek.<\/p>\n\n\n\n

Bezpe\u010dnost<\/h3>\n\n\n\n

Upravili jsme jednotliv\u00e9 \u010d\u00e1sti na\u0161\u00ed DDoS ochrany, p\u0159idali do senzor\u016f 512 GB RAM, p\u0159idali dal\u0161\u00ed senzory do s\u00edt\u011b. Nov\u00e9 senzory sleduj\u00ed provoz a\u017e za na\u0161imi routery, p\u0159\u00edmo mezi slu\u017ebami. Doposud jsme m\u011bli online senzory na p\u00e1te\u0159n\u00edch routerech, za DDoS filtery, ale nem\u011bli jsme online sledov\u00e1n\u00ed provozu v s\u00edti mezi jednotliv\u00fdmi servery u n\u00e1s v s\u00edti. Netflow pova\u017eujeme za pomal\u00e9 a nedostate\u010dn\u00e9 a proto jsme p\u0159idali dal\u0161\u00ed online senzory.<\/p>\n\n\n\n

Zva\u017eujeme zda nenasad\u00edme IDS\/IPS i u VPS. U webhosting\u016f se to osv\u011bd\u010dilo. Klesl datov\u00fd tok, klesl po\u010det incident\u016f v s\u00edti a klesl po\u010det napaden\u00fdch web\u016f.<\/p>\n\n\n\n

Ochrana<\/h3>\n\n\n\n

U v\u0161ech VPS bude nad\u00e1le p\u0159id\u011blov\u00e1n rozsah \/112, co\u017e je 65.536 adres IPv6 pro ka\u017ed\u00e9 VPS, ale re\u00e1ln\u011b bude mo\u017en\u00e9 pou\u017e\u00edvat jen jednotliv\u00e9 IP adresy, kter\u00e9 bude nutn\u00e9 zaevidovat v z\u00e1kaznick\u00e9 administraci a t\u00edm se tato IP adresa bude moci pou\u017e\u00edvat. Toto \u0159e\u0161en\u00ed m\u00e1me p\u0159ipraven\u00e9 a budeme ho aktivovat v p\u0159\u00ed\u0161t\u00edm t\u00fddnu. Nejprve po\u0161leme zpr\u00e1vu v\u0161em klient\u016fm, kter\u00fdch se to t\u00fdk\u00e1 a n\u00e1sledn\u011b za\u010dneme omezovat. Ka\u017ed\u00fd z\u00e1kazn\u00edk s VPS bude m\u00edt automaticky aktivn\u00ed IPv6 s \u010d\u00edslem jedna (ze sv\u00e9ho rozsahu) a dal\u0161\u00ed bude muset nejprve zaevidovat v administraci. <\/strong>Ji\u017e nyn\u00ed m\u016f\u017eete p\u0159ednastavit povolen\u00e9 IPv6 v z\u00e1kaznick\u00e9 administraci, ale zat\u00edm to nem\u00e1 na funk\u010dnost \u017e\u00e1dn\u00fd vliv. V\u0161e bude aktivn\u00ed po v\u00edkendu.<\/p>\n\n\n\n

Omezen\u00ed root slu\u017eeb<\/h3>\n\n\n\n

Ji\u017e jsme ud\u011blali n\u011bkolik drobn\u00fdch opat\u0159en\u00ed a tak na VPS u\u017e nejsou \u017e\u00e1dn\u00e9 mo\u017enosti zneu\u017e\u00edv\u00e1n\u00ed jin\u00fdch IP adres apod., co\u017e nyn\u00ed plat\u00ed i pro IPv6. Ji\u017e d\u0159\u00edve ne\u0161lo n\u011bkter\u00e9 v\u011bci d\u011blat u IPv4. Nechceme omezovat podstatu root slu\u017eeb, ale hled\u00e1me vhodn\u00e9 \u0159e\u0161en\u00ed, aby to nem\u011blo negativn\u00ed vliv na klienty.<\/p>\n\n\n\n

Monitoring a status na soci\u00e1ln\u00edch s\u00edt\u00edch<\/h3>\n\n\n\n

Na soci\u00e1ln\u00ed s\u00edt\u011b budeme um\u011bt d\u00e1t pravidlo o glob\u00e1ln\u011bj\u0161\u00edm probl\u00e9mu. Ne jako doposud, kdy um\u00edme exportovat jednotliv\u00e9 probl\u00e9my s jednotliv\u00fdmi servery.  <\/p>\n\n\n\n

Je\u0161t\u011b jednou se omlouv\u00e1me a ur\u010dit\u011b nehodl\u00e1me nic zaml\u010det a \u017e\u00e1dn\u00e9 probl\u00e9my netaj\u00edme. V\u011b\u0159te, \u017ee tohle nen\u00ed n\u00e1\u0161 styl.<\/p>\n\n\n\n

Omezen\u00ed n\u011bkter\u00fdch druh\u016f paket\u016f<\/h3>\n\n\n\n

U VPS jsme za\u010dali m\u00edrn\u011b limitovat n\u011bkter\u00e9 druhy provozu a mimo\u0159\u00e1dn\u011b nadlimitn\u00ed hodnoty automaticky (v p\u0159\u00edpad\u011b \u00fatok\u016f) blokujeme. Jedn\u00e1 se nap\u0159\u00edklad o ICMP pakety a tak v p\u0159\u00edpad\u011b siln\u00fdch \u00fatok\u016f nemusej\u00ed v\u017edy odpov\u00eddat ICMP pakety (nap\u0159\u00edklad pingy nemusej\u00ed v\u017edy odpov\u00eddat). N\u011bkter\u00e9 protokoly mohou b\u00fdt omezen\u00e9, ale bez vlivu na samotn\u00fd virtu\u00e1ln\u00ed server. Je to v z\u00e1jmu kvality slu\u017eeb, aby v\u017edy fungoval provoz na jin\u00fdch protokolech, kter\u00e9 jsou d\u016fle\u017eit\u00e9 pro provoz VPS. Je pravda, \u017ee nap\u0159\u00edklad toto omezen\u00ed m\u016f\u017ee zp\u016fsobovat plan\u00e9 poplachy u r\u016fzn\u00fdch monitoring\u016f apod.. Za uveden\u00e9 se omlouv\u00e1me a v\u011b\u0159\u00edme, \u017ee to bude jen do\u010dasn\u00e1 situace.<\/p>\n\n\n\n

V\u00edce detail\u016f – omlouv\u00e1me se, ale ne…<\/h2>\n\n\n\n

Nezlobte se, \u017ee nezve\u0159ej\u0148ujeme dal\u0161\u00ed detaily o cel\u00e9m \u00fatoku. Mohli bychom napsat pomoc\u00ed jak\u00fdch n\u00e1stroj\u016f byl \u00fatok proveden apod., ale nechceme d\u00e1vat n\u00e1vod na to jak „\u0161kodit“ a \u00fato\u010dit na IPv6. To by nepomohlo nikomu. Ani n\u00e1m, ani dal\u0161\u00edm poskytovatel\u016fm slu\u017eeb. D\u011bkujeme za pochopen\u00ed. <\/p>\n\n\n\n

Nezlobte se, \u017ee nezve\u0159ej\u0148ujeme dal\u0161\u00ed detaily o proveden\u00fdch opat\u0159en\u00edch, ale d\u016fvody jsou podobn\u00e9. Nechceme, abychom d\u00e1vali informace o na\u0161\u00ed ochran\u011b a t\u00edm mohli p\u0159\u00edpadn\u00fdm \u00fato\u010dn\u00edk\u016fm napov\u011bd\u011bt jak \u0161kodit u n\u00e1s. D\u011bkujeme za pochopen\u00ed.<\/p>\n\n\n\n

V\u011b\u0159\u00edme, \u017ee ocen\u00edte na\u0161i otev\u0159enost a \u017ee ocen\u00edte to, \u017ee jsme celou situaci vysv\u011btlili a popsali velmi obs\u00e1hle a nespokojili jsme se s n\u011bjakou omlouvou nebo v\u00fdmluvou. Popsali jsme co se stalo a z\u00e1rove\u0148 i kde jsme m\u011bli chyby u n\u00e1s a co jsme zm\u011bnili nebo co mus\u00edme je\u0161t\u011b zm\u011bnit. Otev\u0159enost a \u017e\u00e1dn\u00e9 tajnosti je n\u00e1\u0161 styl. Cel\u00e1 situace n\u00e1s posouv\u00e1 d\u00e1l a zase jsme na\u0161e slu\u017eby mohli vylep\u0161it.<\/p>\n\n\n\n

IPv4 pro v\u0161echny<\/h2>\n\n\n\n

Vzhledem k tomu, co se stalo jsme se rozhodli, \u017ee d\u00e1me ke v\u0161em VPS IPv4 zdarma (respektive za korunu m\u011bs\u00ed\u010dn\u011b) a to i za cenu, \u017ee je mus\u00edme draze kupovat. IPv4 n\u00e1m do\u0161ly. Skute\u010dn\u011b jsme nem\u011bli \u017e\u00e1dnou volnou, a tak jsme je museli koupit a klient\u016fm zpoplatnit a nutili jsme klienty pou\u017e\u00edvat IPv6. Nyn\u00ed se n\u00e1m to vymstilo. Z tohoto pohledu d\u00e1me v\u0161em IPv4, proto\u017ee tam nejsou takov\u00e9 n\u00e1roky na filtraci a um\u00edme to filtrovat mnohem l\u00e9pe a spolehliv\u011bj\u0161\u00edm zp\u016fsobem.  Z\u00e1rove\u0148 klient\u016fm odd\u011bl\u00edme tok pro IPv4 a IPv6 a v p\u0159\u00edpad\u011b podobn\u00fdch komplikac\u00ed bude jedna z verz\u00ed v\u017edy dostupn\u00e1. V\u011b\u0159\u00edme, \u017ee podobnou situaci ji\u017e \u0159e\u0161it nebudeme. <\/p>\n\n\n\n

Odpov\u011bdi na jednotliv\u00e9 dotazy, kter\u00e9 zazn\u011bly v minul\u00fdch dnech<\/h2>\n\n\n\n

Ot\u00e1zka: <\/strong>Pro\u010d se mi tentokr\u00e1t n\u011bjak nezd\u00e1 v\u00fdmysl s DDOS kdy\u017e se d\u00edv\u00e1m na grafy p\u0159enos\u016f ze v\u010derej\u0161ka. (Pro\u010d grafy neukazuj\u00ed DDoS)<\/p>\n\n\n\n

Odpov\u011b\u010f: Na ve\u0159ejn\u00fdch grafech jsou vid\u011bt toky, kter\u00e9 jsou za prim\u00e1rn\u00ed DDoS ochranou. To znamen\u00e1, \u017ee tok p\u0159ich\u00e1zej\u00ed zvenku je v\u011bt\u0161inou odfiltrov\u00e1n a nen\u00ed na grafech vid\u011bt. Probl\u00e9mem nebyl tolik tok zvenku jako zevnit\u0159. Z\u00e1rove\u0148 se nejednalo o velk\u00fd datov\u00fd tok, ale velk\u00fd po\u010det mal\u00fdch paket\u016f, kter\u00e9 spot\u0159ebov\u00e1valy voln\u00e9 sloty na jednotliv\u00fdch VPS.<\/p>\n\n\n\n


Ot\u00e1zka: <\/strong>Kdy\u017e jsem to testoval, tak se v ur\u010dit\u00fdch \u010dasech\/intervalech pakety dostaly do smy\u010dky mezi dv\u011bma routery wedosu a pak byly zahozeny z d\u016fvodu TTL.<\/p>\n\n\n\n

Odpov\u011b\u010f: Ano, to se stalo v p\u0159\u00edpad\u011b, \u017ee bylo nefunk\u010dn\u00ed rozhran\u00ed na routeru a ten hledal jinou (n\u00e1hradn\u00ed cestu). Tam se potom aplikovaly v\u00fdchoz\u00ed routy a pakety mohly takhle b\u00fdt. Tohle se pou\u017eilo v na\u0161\u00ed p\u00e1te\u0159n\u00ed s\u00edti, kde to ned\u011blalo probl\u00e9m. Probl\u00e9m jsme m\u011bli p\u0159edev\u0161\u00edm za routerem pro VPS, kter\u00fd byl p\u0159et\u00ed\u017een zevnit\u0159.<\/p>\n\n\n\n

Ot\u00e1zka: <\/strong>Pro\u010d se nedalo spojit se z\u00e1kaznickou podporou?<\/p>\n\n\n\n

Odpov\u011b\u010f: Z\u00e1kaznick\u00e1 podpora d\u011blala v p\u00e1tek odpoledne co mohla. Je \u010das dovolen\u00fdch a tak je na podpo\u0159e men\u0161\u00ed z\u00e1t\u011b\u017e a tak tam nejsou des\u00edtky pracovn\u00edk\u016f, ale nap\u0159\u00edklad 4 pracovn\u00edci plus technici. Bohu\u017eel, kdy\u017e m\u00e1me pod \u00fatokem n\u00e1\u0161 web nebo chat, tak je problematick\u00e1 dostupnost a n\u011bkdy to nefunguje zcela ide\u00e1ln\u011b. Telefony zvon\u00ed, ale nejde obslou\u017eit v\u0161echny… P\u0159ich\u00e1zej\u00ed des\u00edtky mail\u016f s dotazy apod… V tom okam\u017eiku nev\u00edte co d\u0159\u00edve. Z toho pohledu d\u00e1v\u00e1me zpr\u00e1vy do administrace a na chat. Dal\u0161\u00ed kr\u00e1tk\u00e9 informace d\u00e1v\u00e1me na soci\u00e1ln\u00ed s\u00edt\u011b. Ve\u0161ker\u00e9 \u00fasil\u00ed v\u011bnujeme \u0159e\u0161en\u00ed probl\u00e9m\u016fm a \u0159e\u0161en\u00ed situace.<\/p>\n\n\n\n

Ot\u00e1zka: <\/strong>Pro\u010d na n\u011bkter\u00fdch speci\u00e1ln\u00edch \u00fa\u010dtech WEDOS Status na soci\u00e1ln\u00edch s\u00edt\u00edch nebylo  ihned upozorn\u011bn\u00ed?<\/p>\n\n\n\n

Odpov\u011b\u010f: Automat na hromadnou situaci nebyl p\u0159ipraven. Po d\u0159\u00edv\u011bj\u0161\u00edch zku\u0161enostech jsme zavedli automaty na d\u00edl\u010d\u00ed slu\u017eby. Bereme to jako podn\u011bt na zlep\u0161en\u00ed a okam\u017eite na tom zapracujeme.<\/p>\n\n\n\n

Ot\u00e1zka (dopln\u011bna po zve\u0159ejn\u011bn\u00ed): <\/strong>Jak\u00e9 budou kompenzace?<\/p>\n\n\n\n

Odpov\u011b\u010f: Kompenzace \u0159e\u0161\u00ed na\u0161e obchodn\u00ed odd\u011blen\u00ed. Sta\u010d\u00ed napsat p\u0159es kontaktn\u00ed formul\u00e1\u0159.<\/p>\n\n\n\n

Ot\u00e1zka (dopln\u011bna po zve\u0159ejn\u011bn\u00ed): <\/strong>Sloh…<\/p>\n\n\n\n

Odpov\u011b\u010f: Ano, m\u00e1te pravdu. V textu jsou jak stylistick\u00e9, tak gramatick\u00e9 chyby. Omlouv\u00e1me se. N\u00e1m \u0161lo o sd\u011blen\u00ed toho, co se stalo a vysv\u011btlen\u00ed cel\u00e9 situace. Mohli jsme napsat omluvu a d\u00e1le to nevysv\u011btlovat, ale to nen\u00ed n\u00e1\u0161 styl. Mohli jsme to cel\u00e9 uzav\u0159\u00edt jak\u00fdmkoliv vysv\u011btlen\u00edm, ale napsali jsme pravdu a v\u011bnovali jsme se i teoretick\u00e9mu vysv\u011btlen\u00ed probl\u00e9mu, aby to pochopil ka\u017ed\u00fd. Za chyby v \u010desk\u00e9m jazyce nebo slohov\u00e9 nedostatky se omlouv\u00e1me. Pro n\u00e1s jsou nyn\u00ed aktu\u00e1ln\u00ed technick\u00e9 z\u00e1le\u017eitosti, kter\u00e9 s celou situac\u00ed souvis\u00ed. T\u011bm se v\u011bnujeme. D\u011bkujeme za pochopen\u00ed.Ot\u00e1zka (dopln\u011bna po zve\u0159ejn\u011bn\u00ed): <\/strong>Ta captcha je p\u011bkn\u011b otravn\u00e1.  Pochopil bych ji u p\u0159ihl\u00e1\u0161en\u00ed do administrace, jednou ov\u011b\u0159it, \u017ee nejsem robot, ale ne p\u0159i ka\u017ed\u00e9m p\u0159id\u00e1n\u00ed adresy, kdy\u017e jich p\u0159id\u00e1v\u00e1m 10, tak to po m\u011b chce 10 ov\u011b\u0159en\u00ed… Odpov\u011b\u010f: Souhlas\u00edme s otravnost\u00ed, ale je to obrana proti robot\u016fm (klient\u016fm je\u017e pou\u017eij\u00ed roboty) a kte\u0159\u00ed tam zadaj\u00ed stovky nebo tis\u00edce nebo des\u00edtky tis\u00edc IPv6 a cel\u00e1 akce a obrana bude k ni\u010demu.  Ot\u00e1zka (dopln\u011bna po zve\u0159ejn\u011bn\u00ed): <\/strong>Omlouv\u00e1m se, ale a\u010d tento p\u0159\u00edb\u011bh zn\u00ed velmi v\u011brohodn\u011b, tak se mi nezd\u00e1 jedna v\u011bc. Na Va\u0161i s\u00ed\u0165 opravdu nikdy neuto\u010dil n\u011bkdo zevnit\u0159 z VPS? Odpov\u011b\u010f: Mohli bychom si vymyslet cokoliv, ale napsali jsme pravdu. \u00datoky zevnit\u0159 byly, ale byly po IP4. Ot\u00e1zka (dopln\u011bna po zve\u0159ejn\u011bn\u00ed):  <\/strong>Pro\u010d jste nem\u011bli aplikovanou ochranu proti \u00fatok\u016fm zevnit\u0159 u\u017e preventivn\u011b? Omlouv\u00e1m se, ale p\u0159ipad\u00e1te mi jako tot\u00e1ln\u00ed s\u00ed\u0165ov\u00ed amat\u00e9\u0159i, i kdy\u017e ostatn\u00ed Va\u0161e inovace jsou vynikaj\u00edc\u00ed. Odpov\u011b\u010f: Na IPv4 jsme ochranu m\u011bli. Na IPv6 je situace mnohem komplikovan\u011bj\u0161\u00ed a zku\u0161enosti s ochranou na IPv6 jsou celosv\u011btov\u011b men\u0161\u00ed. Po\u010dty IP adres je mnohon\u00e1sobn\u011b v\u011bt\u0161\u00ed a tak ochrana mnohem komplikovan\u011bj\u0161\u00ed…  Ot\u00e1zka (dopln\u011bna po zve\u0159ejn\u011bn\u00ed): <\/strong>M\u016f\u017eete d\u00e1t k dispozici n\u011bjak\u00e9 statistiky velikosti \u00fatok\u016f nebo je to tajn\u00e9? Dle m\u00e9ho n\u00e1zoru se v\u00e1m pouze zbl\u00e1znilo intern\u00ed routovani. Pro\u010d tedy nebyla aktivn\u00ed (dle grafu) t\u0159et\u00ed trasa od \u010cD Telematika a druha trasa ma grafy a\u017e od tohoto „\u00fatoku“??? Odpov\u011b\u010f: P\u00e1r \u010d\u00edsel zazn\u011blo v textu. Grafy nem\u011b\u0159ily, proto\u017ee v dob\u011b probl\u00e9m nefungoval sb\u011br dat ze SNMP a routery neodpov\u00eddaly tak, aby data poskytovaly spr\u00e1vn\u011b. Na\u0161e chyby jsme p\u0159iznali v textu. V\u011b\u0159te, \u017ee chyba v routov\u00e1n\u00ed by byla to nejsnaz\u0161\u00ed a ur\u010dit\u011b men\u0161\u00ed probl\u00e9m, ne\u017e hledat co se stalo a vysv\u011btlovat tohle a hledat \u0159e\u0161en\u00ed, jak tomu p\u0159edej\u00edt v budoucnu.  Ta captcha je p\u011bkn\u011b otravn\u00e1. Pochopil bych ji u p\u0159ihl\u00e1\u0161en\u00ed do administrace, jednou ov\u011b\u0159it, \u017ee nejsem robot, ale ne p\u0159i ka\u017ed\u00e9m p\u0159id\u00e1n\u00ed adresy, kdy\u017e jich p\u0159id\u00e1v\u00e1m 10, tak to po m\u011b chce 10 ov\u011b\u0159en\u00ed…<\/p>\n\n\n\n

Pokud m\u00e1te dal\u0161\u00ed dotazy, tak se nev\u00e1hejte zeptat. Ur\u010dit\u011b r\u00e1di odpov\u00edme.<\/p>\n\n\n\n

Z\u00e1v\u011brem<\/h2>\n\n\n\n

Je\u0161t\u011b jednou se na z\u00e1v\u011br omlouv\u00e1me v\u0161em dot\u010den\u00fdm u\u017eivatel\u016fm VPS<\/strong>. V\u011b\u0159\u00edme, \u017ee jsme se t\u00e9to situace dostate\u010dn\u011b pou\u010dili. Nyn\u00ed jsme nasadili n\u011bkolik opat\u0159en\u00ed a je\u0161t\u011b dal\u0161\u00ed p\u0159ipravujeme s c\u00edlem, aby se nemohla podobn\u00e1 situace opakovat.<\/p>\n\n\n\n

Aktu\u00e1ln\u011b snad m\u016f\u017eeme dodat to, \u017ee pracujeme na stavb\u011b druh\u00e9ho datacentra a na p\u0159\u00edprav\u011b nov\u00e9 slu\u017eby, kter\u00e1 bude v nejbli\u017e\u0161\u00edch t\u00fddnech spu\u0161t\u011bna na ve\u0159ejn\u00e9 testy. Nov\u00e1 slu\u017eba bude kombinac\u00ed webhostingu a VPS. P\u016fjde o „jak\u00e9si“ managed VPS, kdy budete m\u00edt k dispozici parametry a v\u00fdkon VPS, ale o spr\u00e1vu VPS (ur\u010den\u00e9ho pro webhosting) se budeme starat my. K dispozici bude hodn\u011b novinek, kter\u00e9 jste si \u017e\u00e1dali.<\/p>\n\n\n\n

Nov\u00e9 datacentrum ji\u017e stoj\u00ed a \u010dek\u00e1me na dod\u00e1vku oken a n\u00e1sledn\u011b ji\u017e zah\u00e1j\u00edme instalace technologi\u00ed ve vnit\u0159n\u00edch prostor\u00e1ch. P\u0159ipom\u00edn\u00e1me, \u017ee p\u016fjde o jedno z nejbezpe\u010dn\u011bj\u0161\u00edch datacenter v \u010cR (servery v podzem\u00ed a za 30-110 cm \u017eelezobetonu), kter\u00e9 bude z\u00e1rove\u0148 nej\u00fasporn\u011bj\u0161\u00edm a nejekologi\u010dt\u011bj\u0161\u00edm datacentrem (minim\u00e1ln\u011b) v \u010cR. Servery budou chlazeny v olejov\u00e9 l\u00e1zni a odpadn\u00ed teplo bude vyu\u017e\u00edv\u00e1no pro oh\u0159ev m\u011bstsk\u00e9ho koupali\u0161t\u011b.<\/p>\n\n\n\n

Z\u00e1rove\u0148 chyst\u00e1me i dal\u0161\u00ed novinky v na\u0161\u00ed nab\u00eddce, ale o tom a\u017e zase p\u0159\u00ed\u0161t\u011b…<\/p>\n","protected":false},"excerpt":{"rendered":"

Minul\u00fd t\u00fdden, v p\u00e1tek odpoledne jsme se pot\u00fdkali s probl\u00e9my s konektivitou u VPS. Od po\u010d\u00e1tku na\u0161\u00ed \u010dinnosti si zakl\u00e1d\u00e1me na otev\u0159enosti a tak dovolte, abychom ud\u011blali n\u011bjak\u00fd soupis ud\u00e1lost\u00ed a vysv\u011btlili co se vlastn\u011b stalo.\u00a0<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[3,101],"tags":[],"class_list":["post-55111","post","type-post","status-publish","format-standard","hentry","category-spolecnost","category-udalosti"],"_links":{"self":[{"href":"https:\/\/blog.wedos.com\/cs\/wp-json\/wp\/v2\/posts\/55111","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.wedos.com\/cs\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.wedos.com\/cs\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.wedos.com\/cs\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.wedos.com\/cs\/wp-json\/wp\/v2\/comments?post=55111"}],"version-history":[{"count":1,"href":"https:\/\/blog.wedos.com\/cs\/wp-json\/wp\/v2\/posts\/55111\/revisions"}],"predecessor-version":[{"id":55118,"href":"https:\/\/blog.wedos.com\/cs\/wp-json\/wp\/v2\/posts\/55111\/revisions\/55118"}],"wp:attachment":[{"href":"https:\/\/blog.wedos.com\/cs\/wp-json\/wp\/v2\/media?parent=55111"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.wedos.com\/cs\/wp-json\/wp\/v2\/categories?post=55111"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.wedos.com\/cs\/wp-json\/wp\/v2\/tags?post=55111"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}