Jak jsme minulý týden slíbili, tak i konáme. Konektivita je pro každé datacentrum naprosto klíčová, a tak jsme se pustili do vylepšování našich 100 Gbps tras. Zároveň naši technici připravují sadu pravidelných ostrých testů, které odhalí jakýkoliv problém.
Trasa 3 musí být vylepšena a nabídnout více možností
Trasa 3, která má také kapacitu 100 Gbps, vede fyzicky od nás z Hluboké Nad Vltavou přes Havlíčkův Brod do Prahy. Konkrétně do datacentra T-Mobile – GTS (THP) odkud jsme připojeni na Žižkovskou věž ČRa. Tuto trasu vedeme jako záložní.
Rozhodli jsme se ke změně, která nám nabídne dlouhodobě daleko větší potenciál. Proto vedení již dlouhé měsíce jedná s ČD – Telematika, že bychom mohli využít jejich nové datacentrum (nazývané jako U2). Vzhledem k posledním událostem jsme se však rozhodli jednání uspíšit.
Jen pro úplnost dodáváme, že máme další 2 trasy (každá 100 Gbps) od CETIN, které vedou 2 různými trasami (jedna přes Tábor a druhá přes Písek) do datacentra Sitel (Ce-Colo).
V Praze na Sitelu jsme připojeni ke 4 různým poskytovatelům a můžeme kdykoliv přidat další. Na záložní trase jsme měli doposud jen jednoho poskytovatele, což se nám vymstilo, a tak musela přijít změna. Už tam máme 2 poskytovatele a domlouváme další. Navíc chystáme další vylepšení…
O co jde?
Současná záložní trasa byla:
DC1 WEDOS Hluboká ⟶ THP ⟶ Žižkovská věž ČRa.
Rozhodli jsme se, že to upravíme a vložíme switch právě do ČD – Telematika.
DC1 WEDOS Hluboká ⟶ switch ČDT (U2) ⟶ TTC.
To nám umožní využít potenciál datacentra ČDT, kde mají svou konektivitou významní ISP. O tom však až dále. Aktuálně jsme tam od pátku (29.11.2019) připojeni do sítě ČDT.
Příští týden budeme propojeni pronajatými optickými vlákny, které budou v počátku osazena 100 Gbps, do datacentra TTC, kde jsou další významní operátoři a peeringové uzly. Tento finální stav bude dokončen příští týden, protože čekáme na proměření pronajatých optických vláken. Do té doby je naše trasa:
DC1 WEDOS ⟶ ČDT (U2) ⟶ THP ⟶ Žižkovská věž ČRa
Všechno jde, když se chce
Celou změnu jsme připravovali již déle než půl roku, ale pořád jsme na něco nebo někoho čekali. Posledních 11 dní jsme měli hodně intenzivního jednání s ČDT a během tohoto týdne se vše domluvilo. Trochu jsme měli obavu, že bude problém sehnat od dodavatelů vhodný 100 Gbps switch, protože takovýto hardware se běžně skladem nedrží. Kdo v ČR potřebuje ze dne na den 100 Gbps značkový hardware, že? Tedy až na WEDOS 🙂
Měli jsme však štěstí a jeden dodavatel jej měl skladem a navíc byl schopný doručit nám jej hned druhý den. Další možností bylo zakoupení switche u dodavatele v Německu, který jej umí doručit do několika hodin (nebo si pro něj můžeme sami dojet do Mnichova).
Jen pro pořádek. Máme samozřejmě skladem různé náhradní switche 40 Gbps a 10 Gbps, protože ty používáme běžně. Ostatní prvky v síti, které máme 100 Gbps jsou v siti duálně. Námi používané switche mají porty 6 x 100 Gbps. V Praze nám nyní stačí switch s 3 porty.
Příprava, konfigurace a domlouvání detailů trvalo den. Nový switch DELL má 3 porty 100 Gbps a 12 portů 10 Gbps.
Připravili jsme 100 Gbps QSFP28 moduly a k tomu 10 Gbps (SFP+), dali oběd a nic nám tak nebránilo vyrazit v pátek do Prahy.
Switch slouží jen jako “agregační” pro jednotlivé konektivity od jednotlivých poskytovatelů konektivity a pomocí vlanů tuto konektivitu posíláme na Hlubokou. Tam vše routujeme pomocí zařízení Arista a filtrujeme pomocí naší DDoS ochrany. Ale o tom zase příště. Jen pro škarohlídy dodáváme, že používáme plnou BGP tabulku. Neroutujeme ani na linuxech… Ale o tom napíšeme zase taky až příště.
Cesta do Prahy a instalace
V pátek v odpoledních hodinách jsme vyrazili do Prahy. V datacentru ČDT jsme zatím ještě nebyli. Vzali jsme tak i pár balení WEDOS Energy, aby si nás zapamatovali 🙂 S některými z nich jsme přitom v kontaktu 15 let a ještě jsme se nikdy osobně neviděli…
Musíme zmínit, že o nás v ČDT bylo dobře postaráno a zaměstnanci, kteří nám s instalací pomáhali, na nás udělali velmi dobrý profesionální i lidský dojem.
Samotná instalace switche nebyla náročná. Potom jsme udělali několik přepojení optických kabelů a zbývalo jen domluvit telefonicky přehození BGP routování a otestovat, zda vše funguje. To zabralo nejvíce času.
Zhruba za dvě hodinky bylo vše hotové. V pondělí se ještě doladí poslední detaily. Ehm třeba poslední papíry a povolení přístupů pro naše pracovníky…
Co umístění switche v datacentru ČD – Telematika znamená
Zdá se to jako maličkost. Vždyť Trasa 3 je záložní a prakticky přes ní neteče žádný provoz. Primárně je teď nejdůležitější, aby vše fungovalo i pokud bude na dvou primárních trasách několik dní trvající problém (od Hluboké až po cílové datacentrum SITEL (Ce Colo)).
Z dlouhodobého hlediska nám switch v ČDT umožní připojit se přímo k dalším ISP v datracentru ČDT anebo přes ně do dalších datacenter v Praze. Prostě poslouží jako rozcestník, třeba pro připojení do nějakého peeringu (NIX, Peering.cz). Jedná se tedy o strategický prvek v naší síťové infrastruktuře.
Zajímavá je také úvaha přímého připojení k nějakému velkému poskytovateli internetu. Jejich zákazníci by pak měli přímý přístup například k více jak 210 tisícům .cz doménám, které u nás na Hluboké hostují. Za pár týdnů spustíme do ostrého provozu naše druhé datacentrum a věříme, že počet námi hostovaných domén poroste rychle vzhůru.
Věci se tak hnuly kupředu a můžeme postoupit dál v jednání o Trase 4 přes České Budějovice. Optiku tam už máme připravenou a ladíme s ČDT poslední detaily. Teď potřebujeme v Českých Budějovicích začít domlouvat spolupráci s dalšími ISP, kteří tam mají konektivitu. Našim cílem je, abychom se přes Trasu 4 dokázali vyhnout Praze. Pokud by se tam něco vážného stalo, tak potřebujeme, aby služby našich zákazníků fungovaly dál a i kdyby Praha měla velký výpadek. Takže v ČB budeme nyní vybírat spojení do zahraničí. Bude to sice jen záloha, ale nechceme nic podceňovat.