Vysvětlení problému s DNS záznamy ze dne 28. června 2014.
Vysvětlení situace
Vážení zákazníci,
chci se Vám (já, Josef Grill, jako předseda představenstva společnosti WEDOS Internet, a.s.) tímto omluvit za výpadek některých rozhraní pro správu našich služeb. Nejednalo se o výpadek serverů, ale o problém způsobený změnou DNS, u jedné z našich domén (wedos.net), která není aktivně využívána (není na ní žádný web), ale má u některých služeb na starosti přesměrování FTP účtů a mailových účtů a přístup k PHPMyAdminu. Tato naše doména nedopatřením expirovala a náš registrátor, u kterého jí máme registrovanou u ní změnil DNS servery. Okamžitě (během několika minut) technici vše v noci napravili. Důsledky změny DNS se projevily u některých poskytovatelů internetu se zpožděním a tím jsme způsobili některým klientům problémy s přístupem k výše uvedeným službám.
Omluva
Jedná se o moje osobní selhání, kdy jsem prodlužování firemních domén převzal od kolegy (do té doby jsme na to byli dva, aby byla jistota) a v “zápalu” práce jsem nutnost prodloužit doménu přehlédl. Doména nebyla vedena v našem automatickém systému shodně jako zákaznické domény, ale je vedena mimo běžný provoz firmy, aby nemohlo dojít k problémům a ke zneužití domény. Zcela chybně jsem předpokládal, že u domény je automatické prodloužení, které máme v našem systému pro naše zákazníky. Je to moje osobní selhání, za které se moc a moc omlouvám. Bohužel je to jak ze špatného filmu a měl bych zřejmě chodit hodně hluboko pod zemí…
Celkově nás dnes kontaktovalo cca 250 klientů, kterým se změna projevila výrazně později. Postižených klientů bude ještě o něco více, ale nic jiného, než omluvu a kompenzaci nabídnout nemohu. V případě individuální kompenzace nám, prosím, napište přes kontaktní formulář. Hromadné řešení bude v pondělí večer v administraci.
Celkově všechny servery fungovaly a problém se dotkl malé části klientů, což je vidět i z datových přenosů z naší sítě, ale to nás (mě) samozřejmě vůbec neomlouvá.
Probíhající změny v našich procesech
Abychom se do budoucna podobným problémům vyhnuli, rozhodli jsme se všechny naše domény napojit na náš automatický systém, aby se pro příště vyloučila chyba lidského faktoru. Navíc je hned teď prodloužíme na maximální možnou dobu deseti let, protože zatím jsme teprve na začátku a jen tak nás něco neodradí pokračovat. Hodláme vám i nadále přinášet nové služby a zlepšovat ty stávající.
Rozhodně se nehodláme skrývat za nějaké výmluvy a schovávat za jakékoliv chyby někoho jiného. Vzhledem k technickým komplikacím v květnu se připravujeme nasadit nový monitorovací systém, kde uvidíte nejen jakékoliv zaváhání našich serverů přímo v administraci, ale také vás automaticky upozorní na případné problémy s některou z provozovaných služeb. O dalších úpravách, které u nás proběhly nebo ještě proběhnou, vás budeme informovat v následujícím týdnu a to jak na našem webu, tak e-mailem všem klientům. Již dnes bylo vidět, že jsme některé věci změnili, protože jsme celou dobu komunikovali (včetně sociálních sítí) a rovněž jsme měli po celou dobu zprávu (s návodem na rychlejší řešení) přímo v administraci a v kontaktech na webu a přihlašovací stránce na chatu. Jak jsme slíbili, tak v pondělí večer bude v klientské administraci informace o kompenzaci za problém z května a přidáme ještě kompenzaci za dnešní situaci. Za chyby se platí a tak to musíme udělat i my.
Zrovna v minulých dnech jsme se rozhodli, že se staneme registrátorem nadnárodních (generických) domén a budeme si jak naše, tak i vaše domény spravovat sami.Osvobodíme se tím od služeb třetích stran a tím třeba nebude v případě expirace domény nastaven cizí DNS server, ale domény budeme “držet” pro klienty jak jen to bude možné. Pro vás to bude znamenat nejen lepší ceny, ale také vám budeme moci daleko více pomáhat jak v otázkách technických, tak i právních.
Několik informací k situaci
Problém se dotknul několika desetin procenta našich klientů. Jedná se o klienty, kteří používají DNS servery poskytovatelů, kteří dlouhou dobu cachují DNS záznamy. Bohužel je to (v tomto případě) velmi nepříjemná vlastnost DNS záznamů, kterou nemůžeme ovlivnit a tak si “pohár hořkosti” musíme “vypít” až do dna a vše by mělo bez problémů fungovat všem během dnešní noci (24 hodin by mělo být dostačujících pro znovunačtení DNS záznamů). O to je situace nepříjemnější a o to mě to víc mrzí.
Nejednalo se o techický problém a ani o bezpečnostní problém, ale o mé osobní selhání.
Za komplikace se omlouvám. Je mi to velmi nepříjemné a to zejména v situaci, kdy jsme řešili náš (historicky) první technický problém minulý měsíc. V rámci nápravy jsme vyměnili UPS, pořídíme další motorgenerátor a upravili jsme další věci, ale o tom budu skutečně psát až příště.
Neustále tlačím na kolegy, aby všechny servery měli v plně funkčním stavu, což se jim daří (provozujeme hodně přes 300 fyzických serverů). Za poslední měsíc jsme neměli prakticky problémy (kromě problémů s jedním z mailserverů v minulých dnech) stejně jako 3 roky předtím a děláme maximum, aby bylo vše stabilní. Už i ten mailserver jsme vyřešili… A já to takhle pokazím…
Ještě jednou se velmi omlouvám všem dotčeným zákazníkům a kolegům a dalším akcionářům, za způsobené komplikace, které mám na svědomí já.
Závěr
Chci vás ujistit, že jste pro nás prioritou, a proto jsme k vám i naprosto upřimní. V průběhu dne kolegové primárně radili klientům s problémy s přístupem, jak situaci nejrychleji vyřešit. To byla priorita a nyní jsme vydali toto prohlášení.
Věříme, že nám i přes toto zaváhání zachováte důvěru. My vám za to slibujeme, že uděláme vše proto, aby naše služby fungovaly perfektně.
Prosba na závěr
V případě, že budete chtít diskutovat pod článkem, tak bych chtěl požádat, abyste uváděli své plné jméno a zároveň i službu, kterou u nás máte. Já se ke své (neomluvitelné) chybě postavil čelem a tak očekávám, že nebude následovat anonymní diskuze s přispěvovateli z proxyserverů. Věřím, že se všichni diskutující nebudou stydět za své weby a za své jméno.