Sådan planlægger du redundans og failover for internetforbindelser

Hvad redundans og failover betyder for internetforbindelser

Redundans er fysisk og logisk opsætning med mere end én vej til internettet: flere kredsløb, udbydere og sæt udstyr. Et enkelt nedbrud skal ikke lukke hele adgangen. Failover flytter trafikken til den alternative vej, når den primære svigter. Design de to hver for sig: redundansen afgør, hvor mange fejl du kan tåle; failover afgør skiftets varighed, og om brugerne opdager det.

I et blogindlæg fra 7. maj 2020 beskriver Version2, hvordan hjemsendelsen under corona ændrede behovet. Internetadgang til hjemmearbejdspladsen gik fra medarbejdergode til “den digitale livsnerve”. Forbindelsen er nu kritisk infrastruktur.

Skribenten Peter Nørregaard beskriver konsekvensen af, at forbindelsen ryger: Før kunne man tage på kontoret alligevel; nu svarer det til at få lukket for vandet. Hans krav til leverandøren er, at fejl rettes hurtigt gennem en ihærdig indsats med ét fokus: at minimere nedetid for kunden.

Kortlægning af kritiske forbindelser og krav til oppetid

Lav en liste over hvert sted og hver tjeneste, der forsvinder, hvis forbindelsen ryger: kontorets adgang, den enkelte hjemmearbejdsplads, servere og hostede tjenester samt afhængigheder som VPN til kontoret, videokonferencer, IP-telefoni og adgang til cloudtjenester. Notér for hver linje, hvilken arbejdsopgave der stopper, og hvem der rammes. Først derefter giver det mening at sætte tal på, hvor lang nedetid der kan accepteres.

Version2-indlægget viser, hvor disproportional en lille fejl kan være. En køreledning falder ned på grund af en flækket bolt til en tier, og 2.000 personer kommer for sent på arbejde. En webserver står af, og der mistes ordrer for titusindvis af kroner. En certifikatfejl i en virksomheds netværk, og 450 medarbejdere kan ikke arbejde dén formiddag.

Skribenten spørger selv, hvad konsekvensen er af fejl på en infrastrukturydelse til 40-50 kroner. Svaret er, at prisen på forbindelsen ikke siger noget om, hvad et nedbrud koster.

Brug listen til at fastsætte konkrete grænser frem for et generelt ønske om høj oppetid. På en hjemmearbejdsplads kan kravet være, at et kabelbrud må give afbrydelse, indtil en mobil backup overtager. Kvalitetsproblemer under videokonferencer er en selvstændig fejltype.

Version2-skribenten beskriver, at hans kones firmabetalte forbindelse måtte opgraderes fra trådet kabel til fiber på grund af netop kvalitetsproblemer under videokonferencer. For servere og kundevendte tjenester må grænsen ligge lavere, fordi fejlen her rammer andre end den enkelte medarbejder.

Flere kredsløb med divers ruting og flere udbydere

Enkeltpunktsfejl opstår sjældent i udstyret, men i den fælles vej. To kredsløb fra samme udbyder kan dele central, indføring og gravearbejde, og et kabelbrud tager dem begge. Hent derfor kredsløbene fra forskellige udbydere eller transit providers og før dem fysisk adskilt. Så vælter en gravemaskine eller et brud på en fælles strækning ikke hele adgangen på én gang.

Powerhosting illustrerer princippet i et blogindlæg fra 19. november 2019. Omkring kl. 12.00 koblede de et tredje redundant kredsløb ind i netværket, denne gang en 10 Gbit-forbindelse til TDC. De tre kredsløb har divers kabelføring: 10 Gigabit til Globalconnect i Hørning, 10 Gigabit til Globalconnect i Aalborg og 10 Gigabit til TDC i Århus/Fiskergade. Det bragte kapaciteten op på 3x10 Gbit i datacentret i Stilling (AS60422).

Bemærk begrundelsen for det tredje kredsløb: Det var primært for at tilbyde lidt bedre latens og sekundært for at have en ekstra transit provider. Redundans og ydeevne trækker altså i samme retning, når kredsløbene føres til forskellige geografiske lokationer.

Ved indkoblingen forventede Powerhosting ingen nedetid, kun en lille forbedring af svartiden for kunder på TDC-netværket. Det er et argument for at lægge ændringen i et kommunikeret tidsvindue og varsle den på forhånd.

Sammenligning af forbindelsesmodeller: Enkeltkredsløb vs. Redundant opstilling

Målinger fra Powerhosting: Effekt af ekstra redundant forbindelse

Redundans i routere, switche og topologi

Kredsløbene skal føres ind i udstyr, der selv er redundant, ellers flytter man blot enkeltpunktsfejlen. Hos Powerhosting er alle tre kredsløb fordelt ud til 2 redundante Juniper MX204-routere og derfra videre til 2 stk. Juniper EX4600 core-switche. Top-of-rack-switche er kablet med 2x10 Gbit til core-nettet. Dermed står intet enkelt kredsløb, ingen enkelt router og ingen enkelt switch alene med trafikken.

Rutningen skal kunne vælge vej uden manuel indgriben. Powerhosting beskriver, at trafikken flyder som forventet på alle links og routes automatisk via shortest AS-path, hvilket ifølge indlægget altid sikrer den optimale svartid. Fordelen ved at lade alle links være aktive i stedet for at holde det ene som kold standby er, at fejl på et link opdages i den daglige drift, længe før det bliver aktuelt at skifte til det.

Sørg for, at redundansen går hele vejen ned i racket. To routere og to core-switche er kun en forbedring, hvis de ikke deler samme strømforsyning, samme PDU, samme patchpanel eller samme fysiske indføring. Dobbelte uplinks fra top-of-rack til core, som i Powerhostings opsætning med 2x10 Gbit, giver kun mening, hvis de to kabler ikke løber i samme kabelbakke eller samme patchpanel.

Mobil backup til hjemmearbejdspladsen

En 4G- eller 5G-router er den billigste form for redundans på hjemmearbejdspladsen, fordi den ikke afhænger af det kablede kredsløb ind i boligen. Version2-skribenten peger på netop dette: En 4G-router ville have hjulpet i hans konkrete sag, da den kan lægges på loftet, hvor der er god forbindelse — eller udenfor i haven.

Placeringen er en del af designet, fordi signalstyrken i stueetagen ikke er den samme som på loftet eller udendørs.

Test dækningen på den konkrete adresse med den konkrete routerplacering frem for at stole på udbyderens dækningskort, og notér resultatet i dokumentationen sammen med routerens placering. Afklar også datamængden: En mobil backup med dataloft kan løbe tør netop den dag, den skal bruges, hvis der streames eller køres store filoverførsler over den.

Rollerne omkring forbindelsen bør være tydelige, når adgangen er blevet kritisk infrastruktur. Version2-formuleringen er, at teleselskabet skal forvalte rollen som leverandør til privatadressen, som man forvalter andre kritiske infrastrukturer: med fokus på forsyningssikkerhed og ordentlighed. Det oversætter sig til konkrete ting i aftalen — hvornår må der meldes fejl, hvem rykker, og hvor hurtigt skal den sekundære forbindelse kunne bære arbejdet alene.

Test failover uden pakketab

Failover er kun redundant, hvis den er testet. Læg testen ind ved idriftsættelse, efter enhver ændring i kredsløb eller ruting og derefter med fast kadence. Testen består i at fremprovokere skiftet — nedtag det primære link eller fjern dets rute — og måle pakketab og svartider før, under og efter skiftet. Kontrollér også, at skiftet tilbage sker lige så kontrolleret.

I forbindelse med indkoblingen af det tredje kredsløb har Powerhosting testet failoverproceduren uden bemærkninger eller pakketab. Trafikken flød som forventet på alle links og routed automatisk via shortest AS-path. Det er den type dokumentation, testen skal efterlade: hvilket link der blev taget ned, hvornår, hvad der blev observeret, og om trafikken flyttede sig, uden at brugerne mistede pakker undervejs.

Vælg også scenarier, der matcher kortlægningen: nedtagning af det primære kredsløb, nedtagning af en router, nedtagning af en switch og nedtagning af et helt udbydersegment. Hvis et scenarie ikke kan testes uden at ramme produktion, er det et selvstændigt resultat. Det skal føre til en ændring i designet — ikke til at testen springes over.

Test og overvåg forbindelsernes sikkerhed

Sikkerheden i forbindelsen skal testes med samme regelmæssighed som failover. På sikkerpånettet.dk kan man på få sekunder teste, hvor sikker ens hjemmeside, e-mail eller netværksforbindelse er. Efter testen modtager man en grundig vejledning i, hvad der skal gøres for at rette op på manglerne. Værktøjet er lanceret af DK Hostmaster, og Digitaliseringsstyrelsen har valgt at bakke op om det.

Værktøjet scanner for en række teknologier inden for kategorierne domæne, e-mail og netværksforbindelse. Flere af de scannede teknologier er i dag en del af de 20 tekniske minimumskrav til it-sikkerheden hos statslige myndigheder. Andre kan bidrage til overvejelserne om, hvad der udgør et passende sikkerhedsniveau for ens organisation. Det giver en konkret målestok at holde netværksforbindelsen op imod, også uden for staten.

Sæt sikkerheden ind i samme begrebsapparat som redundansen. Rådet for Digital Sikkerhed arbejder for, at Danmark skal være blandt de mest innovative, sikre og modstandsdygtige digitale samfund i verden med fokus på persondatabeskyttelse og datas fortrolighed, tilgængelighed og integritet.

De tre begreber er et praktisk tjek på ethvert failover-design. Tilgængelighed er selve formålet med de ekstra kredsløb, mens man i skiftet mellem to veje skal kunne svare på, om fortroligheden og integriteten holdes intakt hele vejen igennem.

Dokumentér beredskabsplan og ansvar

Skriv planen ned, så den kan læses på et minut klokken tre om natten. Den skal svare på, hvem der ringer til hvilken udbyder, hvor kreds- og kundenumre ligger, og hvem der må beslutte at skifte vej. Den skal også beskrive, hvordan man kommer tilbage til den primære vej uden at skabe et nyt afbrud for brugerne.

Medtag varslede tidsvinduer for ændringer, sådan som Powerhosting gjorde det ved indkoblingen af det tredje kredsløb, der er beskrevet i afsnittet om flere kredsløb.

Hovedfokus i planen skal være at minimere nedetiden, når fejl opstår. Konkret betyder det, at eskalationsvejen er fastlagt på forhånd, og at den første handling ved nedbrud er at bringe trafikken over på den alternative vej snarere end at finde årsagen. Fejlfindingen fortsætter først derefter på det nedbrudte segment.

Afslut planen med kontrolpunkterne efter genetablering: Er trafikken tilbage på de forventede links, er der kørt en failover-test, er svartider og pakketab tilbage på niveau, og er logbogen opdateret med tidspunkt, årsag og handling? Det er de oplysninger, der gør, at en lignende fejl ikke gentager sig.