Inženierijas postmortem veidne (bezvainojoša, praktiska)

Kāpēc postmortem pārvēršas par vainas sesijām

Postmortem neizdodas konkrētā veidā: telpa sāk piešķirt cēloni, pirms telpai ir kopīgs laika grafiks. Kāds saka “izvietošana to izraisīja”, pirms izvietošanas laiks ir apstiprināts. Kāds cits saka “brīdinājums neieslēdzās”, nezinot, vai brīdinājums vispār bija konfigurēts šim scenārijam. Saruna kļūst par debati par cēloņsakarību, pirms kāds ir noskaidrojis, kas patiesībā notika un kādā secībā.

Risinājums ir strukturāls: postmortem sākumā kopīgi izveidojiet incidenta laika grafiku, pirms kāds nosauc pamatcēloni. Kad visa telpa ir apskatījusi notikumu secību — kas mainījās kad, kurš ko redzēja kurā brīdī — cēloni ir daudz vieglāk apspriest un daudz mazāk ticams, ka tas sabruks vainā. Šī ir secības kļūda, ko pieļauj lielākā daļa veidņu: tās liek pamatcēloni pirms laika grafika, jo pamatcēlonis ir tas, kam veidne domāta. Bet laika grafiks ir tas, kas padara pamatcēloni godīgu.

Darba kārtība (kopējiet un ielīmējiet)

Ilgums: 60 minūtes vienkāršam incidentam; 90 minūtes sarežģītiem daudzsistēmu bojājumiem
Formāts: ar moderatoru; visi reaģētāji un dežūrinženieris klāt; sagatavojieties asinhroni ar priekšlasījuma dokumentu

1. sadaļa — Incidenta kopsavilkums (5 min)

Incidenta datumi un ilgums
Smaguma klasifikācija un skartās sistēmas
Kurš to atklāja un kā (klienta ziņojums, brīdinājums, inženieris, uzraudzība)
Šī sadaļa ir tikai faktiska; pagaidām bez analīzes

2. sadaļa — Laika grafiks (20 min)

Veidojiet laika grafiku sadarbībā ekrānā — nevis iepriekš uzrakstītu dokumentu
Secība: kas mainījās, kas tika novērots, kurš rīkojās, kas tika izlemts
Katram laika zīmogam jābūt avota apzīmētam (žurnāla rinda, PagerDuty, Slack ziņa)
Kad laika grafiks ir pabeigts, jautājiet: vai visi piekrīt, ka tā tas notika? Atrisiniet nesaskaņas pirms tālākas virzīšanās

3. sadaļa — Ietekmes kopsavilkums (5 min)

Ietekme uz klientu: kurš tika skarts, cik ilgi, kādā veidā
Ietekme uz biznesu: ieņēmumi, SLA, reputācija
Iekšējā ietekme: dežūru stundas, komandas traucējumi
Turiet to faktisku; tas noenkuro jautājumu “cik slikti tas bija” bez komentēšanas

4. sadaļa — Pamatcēlonis un veicinošie faktori (20 min)

Pamatcēlonis: vistiešākā izmaiņa vai apstāklis, kas padarīja incidentu iespējamu
Veicinošie faktori: apstākļi, kas to padarīja sliktāku, grūtāk atklājamu vai lēnāk atrisināmu
Visnoderīgākie postmortem identificē 3–5 veicinošos faktorus līdzās pamatcēlonim; tikai pamatcēloņa labošana bieži palaiž garām sistēmiskos apstākļus
Jautājiet par katru faktoru: vai kāda persona vai komanda pieņēma lēmumu, kas šķita saprātīgs, ņemot vērā pieejamo informāciju? Ja jā, faktors ir sistēmisks, nevis personisks

5. sadaļa — Kas noritēja labi (5 min)

Kāda atklāšana vai reaģēšana darbojās labāk, nekā gaidīts?
Kāds esošais process vai rīks ierobežoja triecienzonu?
Šī ir prakse, ko vērts formalizēt — ja rīcības grāmata ietaupīja 20 minūtes, atzīmējiet to, lai rīcības grāmata tiek uzturēta

6. sadaļa — Uzdevumi (15 min)

Katrs uzdevums risina pamatcēloni vai veicinošu faktoru — nevis vispārīgu uzlabojumu
Viens atbildīgais uz vienību; piegādes datums, kas atspoguļo steidzamību
Kategorizējiet: atklāt ātrāk / atgūties ātrāk / novērst atkārtošanos
Ierobežojiet līdz darbībām, ko komanda reāli var pabeigt pirms nākamā incidenta, nevis visaptverošs uzticamības ceļvedis

Kas padara postmortem veidnes neveiksmīgas

Pamatcēlonis-pirmā secība ir galvenā strukturālā problēma — jau aplūkota iepriekš. Otrā ir “uzdevumu” uztveršana kā vienas kategorijas. Atklāšanas uzlabojumiem, atgūšanās uzlabojumiem un novēršanas uzlabojumiem nepieciešami dažādi atbildīgie un dažādi termiņi. To sajaukšana rada sarakstu, kas aptver sešus mēnešus un trīs komandas, kas nozīmē, ka atbildība izklīst un neviens no tiem netiek piegādāts.

Trešais neveiksmes režīms ir “kas noritēja labi” izlaišana, jo tas pēc incidenta jūtas kā nevietā optimisms. Tā nav — tas ir vienīgais sistemātiskais veids, kā identificēt un formalizēt praksi, kas darbojās zem spiediena. Ja uzraudzība, kas noķēra problēmu, nebija nevienam ceļvedī, tad uzzināt, ka tā bija svarīga, ir vērts dokumentēt. Citādi tas tiek deprioritizēts pēc incidenta izgaišanas, un nākamreiz esat akls.

Incidentu uzkrājošās izmaksas, kur veicinošie faktori paliek nerisināti un rīcības grāmatas, kas darbojās, paliek neuzturētas, uzkrājas ātri. Sanāksmju nodoklis aplūko, kā atkārtoto sanāksmju slodze un incidentu pārskatu parāds mijiedarbojas.

Kāpēc postmortem fiksēšana ir īpaši sarežģīta

Postmortem diskusijas ātri rada blīvu, nestrukturētu saturu: laika grafika rekonstrukciju, konkurējošas interpretācijas, daudzu cilvēku uzdevumu piešķīrumus, tehniskas detaļas, kam transkriptā bez konteksta nebūs jēgas. Postmortem kopsavilkums, kas uzrakstīts no atmiņas vai rediģēta audio, gandrīz vienmēr ir nepilnīgs, un nepilnīgi postmortem ieraksti ir bezjēdzīgi paraugu atpazīšanai starp incidentiem.

Pavleur fiksē pilnu postmortem diskusiju un ģenerē atskaiti automātiski — laika grafiku, kā tas rekonstruēts, veicinošos faktorus, kā tie nosaukti, uzdevumus ar atbildīgajiem un kategorijām, kā tie sanāksmē izteikti. Ja kāds koplietoja ekrānu, lai parādītu žurnāla izvilkumu, uzraudzības grafiku vai brīdinājuma konfigurāciju, kas neieslēdzās, šis vizuālais materiāls ir atskaites daļa. Tikai audio rīki to pilnībā palaiž garām; postmortem ieraksts bez grafikiem ir ieraksts bez pierādījumiem. Ikviens komandā — ieskaitot inženierus, kas pievienojas pēc incidenta — var izlasīt pilnu, vizuālo kontekstu ietverošu ierakstu, neprasot kādam to rekonstruēt. Tiešam salīdzinājumam ar citiem rīkiem par šo: Pavleur pret alternatīvām.

Par postmortem ritmu

Vadiet postmortem 48 stundu laikā pēc incidenta atrisināšanas, kamēr detaļas ir svaigas. Jo ilgāk gaidāt, jo vairāk laika grafika rekonstrukcija atkarīga no atmiņas, nevis žurnāliem, un atmiņa zem stresa ir neuzticama. Augstas smaguma pakāpes incidentiem 24 stundas ir labāk. Nelieliem incidentiem asinhroni postmortem — koplietots dokuments ar strukturētiem jautājumiem, pārskatīts sinhroni — var būt efektīvāki par pilnu sanāksmi. Sanāksmes formāts ir visvērtīgākais, kad incidents bija pietiekami neskaidrs vai augstas likmes, lai kopīga interpretācija būtu svarīga.