Cloudový provoz
Vymezit odpovědnost za změny, poruchy a obnovu. Připravte převzetí provozu nebo rozvíjejte práci svého týmu.
Vytvořit provozní model06 / Spolehlivost
Zpřehledňujeme stav distribuovaných aplikací a vytváříme ověřitelné reakce na chyby. Pozorovatelnost propojuje naměřená data se schopností diagnostiky; odolnost doplňuje architekturu a praktické postupy, kterými služba omezuje výpadky a umožňuje svou obnovu.
Domluvit architektonickou konzultaciZačínáme postupy, které jsou rozhodující pro vaše uživatele a odborná oddělení. U vyhledávání mohou být relevantní doba odezvy a využitelné výsledky, u zpracování propustnost a nahromaděná práce. Z toho odvozujeme vhodné veličiny a cíle dohodnuté s týmem. Technický signál dostupnosti má nadále smysl, doplňujeme jej však o pohled aplikace. Lze tak rozlišit, zda je služba pouze dostupná, nebo plní svůj účel v očekávané kvalitě. Toto rozlišení pomáhá při určování priorit a upozorňování.
Metriky zviditelňují vývoj a odlehlé hodnoty. Strukturované logy popisují události; distribuované traces mohou ukázat jejich souvislost napříč několika službami. Prověřujeme instrumentaci, časové souvislosti a korelační informace, aby z jednotlivých zdrojů dat vznikl srozumitelný diagnostický postup. Množství a podrobnost musí odpovídat přínosu. Vysoká kardinalita, příliš rozsáhlé logování a nekontrolované uchovávání mohou vytvářet náklady i rizika pro ochranu osobních údajů. Výběr, přístup a uchovávání proto plánujeme společně s koncepcí měření.
Upozornění má signalizovat stav, který vyžaduje reakci. Prověřujeme prahové hodnoty, časová okna pozorování a oddělení naléhavých událostí od plánovatelné práce. Příznaky poruchy pokud možno seskupujeme tak, aby usnadňovaly diagnostiku. K upozornění patří příjemce, eskalace a runbook. První krok musí být srozumitelný i pod časovým tlakem: prověřit zasaženou uživatelskou cestu, určit relevantní změnu nebo vymezit chybný krok zpracování. Upozornění, na která nelze smysluplně reagovat, upravujeme, místo aby byla trvale ignorována.
Společně prověříme, jaké scénáře výpadků musí architektura zvládnout. Patří mezi ně například plánovaná výměna uzlu, nedostupný zdroj dat nebo ztráta přístupového prostředku. Cvičení dostane omezený rozsah a jasné podmínky ukončení. Hodnotíme celou reakci: detekci chyby, dopady, přístup k pomůckám a obnovu. Mechanismy architektury, například replikaci nebo automatický restart, tak ověřujeme v souvislostech. Úspěšné jednotlivé cvičení přitom není všeobecným důkazem odolnosti vůči libovolným výpadkům.
Po incidentu rekonstruujeme časový průběh, dopady a přijatá rozhodnutí. Posuzujeme technickou příčinu a podmínky i kvalitu detekce a dostupnost potřebných informací. Zlepšení dostanou odpovědné osoby a ověřitelné výsledky. Může jít o cílenou instrumentaci, upravený timeout, doplněný krok obnovy nebo oddělení závislosti. Vyhodnocení tak poskytne konkrétní seznam práce pro platformu a aplikaci.
Uživatel vnímá pomalou stránku, zatímco jednotlivé služby se v průměru jeví bez problémů. Jeden dotaz však může spouštět několik navazujících volání, z nichž jen některá trvají neobvykle dlouho. Průměrné hodnoty toto chování skrývají. Posuzujeme rozdělení hodnot a korelovaná volání, abychom vymezili kritickou cestu. Teprve potom rozhodujeme, zda je nutné změnit například datový dotaz, správu připojení nebo synchronní integrační krok. Opakované měření ověří, zda opatření zlepšilo zasaženou uživatelskou cestu.
Cíl obnovy popisuje požadavek, nikoli již existující postup. Prověřujeme, zda záloha, přístup, infrastruktura a stav dat společně umožňují obnovu. RPO označuje tolerovatelnou ztrátu dat, RTO cílovou dobu obnovení provozu. Pokus o obnovu zachytí skutečné kroky a časy. Zohlední také potřebné klíče, závislosti a věcnou kontrolu po spuštění. Odchylky od cíle zviditelníme jako opatření a promítneme zpět do architektury nebo provozních postupů.
Pozorovatelnost musí sledovat změny aplikace. Nová rozhraní, procesy na pozadí nebo zdroje dat potřebují odpovídající signály a zařazení do stávající koncepce upozorňování. Tyto požadavky zohledňujeme již při technických změnách. Pravidelné review ověřuje, jaká data pomohla při skutečných incidentech, která upozornění byla zbytečná a kde existují mezery. Pozorovatelnost se tak rozvíjí na základě provozu. Investice lze přiřadit ke konkrétním problémům diagnostiky a obnovy.
Je dobrým základem, pokud jsou signály, přístupy a konfigurace dohledatelné. Nejprve prověříme skutečné diagnostické otázky a stávající pokrytí. Největší přínos často přinášejí lepší aplikační signály, korelace a pravidla upozornění. Úplná výměna nástrojů není předem stanoveným výsledkem.
Vysoká dostupnost má při určitých chybách zachovat provoz nebo umožnit krátké přerušení. Obnova vrací narušený nebo ztracený stav. Replikace přitom nenahrazuje zálohu, protože se mohou šířit i chybné změny. Oba postupy potřebují vlastní cíle a praktické kontroly.
Vymezit odpovědnost za změny, poruchy a obnovu. Připravte převzetí provozu nebo rozvíjejte práci svého týmu.
Vytvořit provozní modelNavrhněte životní cyklus clusterů, identity a postupy nasazování jako společnou platformu. Aplikace a průběžné provozní úkoly prověřujeme společně.
Naplánovat platformu KubernetesPopište aplikaci, prostředí a požadovaný výsledek. Vymezíme technické zkoumání nebo realizovatelný první krok.
Probrat záměrPřineste konkrétní incident, kritickou uživatelskou cestu nebo dosud neověřený cíl obnovy. Vymezíme instrumentaci a praktické testy, které přinesou jasno.