06 / Pålidelighed

Se, hvad der mangler. Vid, hvad der skal gøres.

Vi gør tilstanden i distribuerede applikationer gennemskuelig og udvikler testbare reaktioner på fejl. Observability forbinder måledata med evnen til at diagnosticere; robusthed supplerer arkitekturen og de praktiske procedurer, hvormed en tjeneste begrænser nedbrud og kan gendannes.

Forespørg om en arkitektursamtale

Fra brugeroplevelse til tekniske signaler

Vi begynder med de forløb, der er afgørende for jeres brugere og forretning. For en søgning kan svartid og brugbare resultater være relevante, for en behandling gennemløb og efterslæb. Herfra udledes egnede måleparametre og mål aftalt med teamet. Et teknisk tilgængelighedssignal er fortsat nyttigt, men suppleres med applikationsperspektivet. Dermed kan man skelne mellem, om en tjeneste blot er tilgængelig, eller om den udfører sin opgave i den forventede kvalitet. Denne sondring hjælper med prioritering og alarmering.

Forbind metrikker, logs og traces

Metrikker synliggør udvikling og afvigelser. Strukturerede logs beskriver hændelser; distribuerede traces kan vise deres sammenhæng på tværs af flere tjenester. Vi undersøger instrumentering, tidsreference og korrelationsoplysninger, så de enkelte datakilder bliver til en gennemskuelig diagnosevej. Mængde og detaljeringsgrad skal passe til nytten. Høj kardinalitet, for omfattende logning og ukontrolleret opbevaring kan skabe omkostninger og databeskyttelsesrisici. Derfor planlægger vi udvælgelse, adgang og opbevaring sammen med målekonceptet.

Knyt alarmer til beslutninger og handlinger

En alarm skal pege på en tilstand, der kræver en reaktion. Vi undersøger tærskelværdier, observationsvinduer og adskillelsen mellem hastende hændelser og planlæggeligt arbejde. Symptomer på en driftsforstyrrelse samles så vidt muligt på en måde, der letter diagnosen. Modtager, eskalation og runbook hører til alarmen. Det første trin skal være forståeligt også under tidspres: kontroller det berørte brugerforløb, identificer en relevant ændring eller afgræns et fejlbehæftet behandlingstrin. Alarmer, som ikke kan omsættes til handling, revideres i stedet for at blive ignoreret permanent.

Gennemspil nedbrud målrettet og afgrænset

Vi afklarer sammen, hvilke nedbrudsscenarier arkitekturen skal kunne håndtere. Det omfatter eksempelvis en planlagt nodeudskiftning, en utilgængelig datakilde eller tab af et adgangsmiddel. Øvelsen får et afgrænset omfang og klare afbrydelsesbetingelser. Hele reaktionen vurderes: fejldetektion, konsekvenser, adgang til hjælpemidler og gendannelse. Arkitekturmekanismer som replikering og automatisk genstart testes dermed i sammenhæng. En vellykket enkeltøvelse er ikke en generel dokumentation mod vilkårlige nedbrud.

Udled konkrete forbedringer af driftsforstyrrelser

Efter en hændelse rekonstrueres tidsforløb, virkning og trufne beslutninger. Vi ser på teknisk årsag og betingelser samt kvaliteten af detektionen og tilgængeligheden af nødvendige oplysninger. Forbedringer får ansvarlige og testbare resultater. Det kan være målrettet instrumentering, en tilpasset timeout, et suppleret gendannelsestrin eller afkobling af en afhængighed. Evalueringen giver dermed en konkret backlog for platform og applikation.

Eksempel: langsomme svar på tværs af flere tjenester

En bruger oplever en langsom side, mens de enkelte tjenester i gennemsnit ser normale ud. En forespørgsel kan dog udløse flere efterfølgende kald, hvoraf kun nogle få tager usædvanligt lang tid. Gennemsnitsværdier skjuler denne adfærd. Vi ser på fordelinger og korrelerede kald for at afgrænse den kritiske vej. Først derefter afgøres, om eksempelvis dataforespørgslen, forbindelsesstyringen eller et synkront integrationstrin skal ændres. En ny måling tester, om tiltaget forbedrer det berørte brugerforløb.

Dokumenter gendannelsesmål i praksis

Et recoverymål beskriver et krav, men endnu ikke en eksisterende procedure. Vi tester, om backup, adgang, infrastruktur og datatilstand tilsammen muliggør gendannelse. RPO angiver det tolerable datatab, RTO den tilstræbte genstartstid. Et restoreforsøg registrerer de faktiske trin og tidsforbrug. Nødvendige nøgler, afhængigheder og faglig kontrol efter opstart indgår også. Afvigelser fra målet bliver synlige som tiltag og føres tilbage til arkitekturen eller driftsprocedurerne.

Et målekoncept som en del af videreudviklingen

Observability skal følge applikationens ændringer. Nye grænseflader, baggrundsprocesser eller datakilder kræver passende signaler og placering i det eksisterende alarmkoncept. Vi tager højde for disse krav allerede ved tekniske ændringer. Et regelmæssigt review undersøger, hvilke data der hjalp under virkelige hændelser, hvilke alarmer der var unødvendige, og hvilke huller der findes. Dermed udvikles observability ud fra driften. Investeringer kan knyttes til konkrete diagnose- og gendannelsesproblemer.

Ofte stillede spørgsmål

Er et eksisterende monitoringsystem tilstrækkeligt som udgangspunkt?

Det er et godt fundament, hvis signaler, adgang og konfiguration er gennemskuelige. Vi undersøger først de faktiske diagnosespørgsmål og den eksisterende dækning. Ofte kommer den største gevinst fra bedre applikationssignaler, korrelation og alarmregler. Et fuldstændigt værktøjsskifte er ikke et forudbestemt resultat.

Hvad er forskellen på høj tilgængelighed og gendannelse?

Høj tilgængelighed skal opretholde driften ved bestemte fejl eller muliggøre en kort afbrydelse. Gendannelse bringer en forringet eller tabt tilstand tilbage. Replikering erstatter ikke backup, fordi fejlbehæftede ændringer også kan blive videreført. Begge veje kræver egne mål og praktiske tests.

Arbejd målrettet videre med opgaven

Cloud Operations

Afgræns ansvar for ændringer, driftsforstyrrelser og gendannelse. Forbered en driftsovertagelse, eller videreudvikl jeres teams arbejde.

Udvikl driftsmodellen

Kubernetes & platforme

Udform clusterlivscyklus, identiteter og leveringsforløb som en fælles platform. Applikationer og løbende driftsopgaver testes samlet.

Planlæg en Kubernetes-platform

Tal om projektet

Beskriv applikationen, miljøet og det ønskede resultat. Herfra afgrænser vi en teknisk undersøgelse eller et gennemførligt første skridt.

Tal om jeres planer

Hvilken driftsforstyrrelse er svær at forklare i dag?

Medbring en konkret hændelse, et kritisk brugerforløb eller et recoverymål, der endnu ikke er afprøvet. Vi afgrænser den instrumentering og de praktiske tests, der skaber klarhed.