Inseneri postmortem-i mall (süüdistusteta, tegutsemiskõlblik)

Miks postmortem-id muutuvad süüdistuseistungiteks

Postmortem-id ebaõnnestuvad kindlal moel: ruum hakkab põhjust omistama enne, kui ruumil on ühine ajajoon. Keegi ütleb „juurutus põhjustas selle" enne, kui juurutusaeg on kinnitatud. Keegi teine ütleb „alarm ei rakendunud", teadmata, kas alarm oli selle stsenaariumi jaoks üldse seadistatud. Vestlusest saab põhjuslikkuse väitlus, enne kui keegi on kindlaks teinud, mis tegelikult ja millises järjekorras juhtus.

Lahendus on struktuurne: ehita intsidendi ajajoon postmortem-i alguses üheskoos üles, enne kui keegi juurpõhjust nimetab. Kui kogu ruum on vaadanud sündmuste järjestust — mis muutus millal, kes nägi mida mis hetkel — on põhjust palju lihtsam arutada ja palju vähem tõenäoline, et see süüdistamiseks kokku variseb. See on järjestusviga, mille enamik malle teeb: nad panevad juurpõhjuse ajajoonest ette, sest juurpõhjus on see, milleks mall mõeldud on. Kuid ajajoon on see, mis teeb juurpõhjuse ausaks.

Päevakava (kopeeri ja kleebi see)

Kestus: 60 minutit lihtsa intsidendi puhul; 90 minutit keerukate mitmesüsteemsete tõrgete puhul
Vorm: modereeritud; kohal kõik reageerijad ja valveinsener; valmistu asünkroonselt eellugemisdokumendiga

1. osa — intsidendi kokkuvõte (5 min)

Intsidendi kuupäevad ja kestus
Raskusastme klassifikatsioon ja mõjutatud süsteemid
Kes selle avastas ja kuidas (kliendi teade, alarm, insener, seire)
See osa on ainult faktiline; analüüsi veel ei tehta

2. osa — ajajoon (20 min)

Ehita ajajoon üheskoos ekraanil üles — mitte eelnevalt kirjutatud dokument
Järjekord: mis muutus, mida täheldati, kes tegutses, mida otsustati
Igal ajatemplil peaks olema allikas (logirida, PagerDuty, Slacki sõnum)
Kui ajajoon on valmis, küsi: kas kõik nõustuvad, et nii see juhtus? Lahenda lahkarvamused enne edasi liikumist

3. osa — mõju kokkuvõte (5 min)

Mõju kliendile: keda mõjutati, kui kaua, mil viisil
Mõju ärile: tulu, teenustaseme leping (SLA), maine
Sisemine mõju: valvetunnid, meeskonna häirimine
Hoia see faktiline; see ankurdab küsimuse „kui hull see oli" ilma toimetamiseta

4. osa — juurpõhjus ja kaassoodustavad tegurid (20 min)

Juurpõhjus: kõige lähem muudatus või tingimus, mis intsidendi võimalikuks tegi
Kaassoodustavad tegurid: tingimused, mis tegid selle hullemaks, raskemini avastatavaks või aeglasemalt lahendatavaks
Kõige kasulikumad postmortem-id tuvastavad juurpõhjuse kõrval 3–5 kaassoodustavat tegurit; ainult juurpõhjuse parandamine jätab sageli süsteemsed tingimused kahe silma vahele
Küsi iga teguri kohta: kas mõni üksikisik või meeskond tegi otsuse, mis tundus olemasoleva info valguses mõistlik? Kui jah, on tegur süsteemne, mitte isiklik

5. osa — mis läks hästi (5 min)

Milline avastamine või reageerimine toimis oodatust paremini?
Milline olemasolev protsess või tööriist piiras plahvatusraadiust?
Need on vormistamist väärivad praktikad — kui käsiraamat (runbook) säästis 20 minutit, pane see kirja, et käsiraamatut hooldataks

6. osa — tegevused (15 min)

Iga tegevus käsitleb juurpõhjust või kaassoodustavat tegurit — mitte üldist parandust
Üks vastutaja punkti kohta; tarnetähtaeg, mis peegeldab kiireloomulisust
Kategoriseeri: avasta varem / taastu kiiremini / väldi kordumist
Piirdu tegevustega, mille meeskond suudab realistlikult enne järgmist intsidenti lõpetada, mitte kõikehõlmava töökindluse teekaardiga

Mis paneb postmortem-mallid ebaõnnestuma

Juurpõhjus-esimene järjestus on peamine struktuurne probleem — juba eespool käsitletud. Teine on „tegevuste" käsitlemine ühe kategooriana. Avastusparandused, taasteparandused ja ennetusparandused nõuavad erinevaid vastutajaid ja erinevaid ajakavasid. Nende segamine toodab nimekirja, mis hõlmab kuut kuud ja kolme meeskonda, mis tähendab, et vastutus hajub ja ükski neist ei jõua kohale.

Kolmas tõrkerežiim on „mis läks hästi" vahelejätmine, sest see tundub pärast intsidenti kohatu optimismina. Ei ole — see on ainus süstemaatiline viis tuvastada ja vormistada praktikaid, mis surve all töötasid. Kui seire, mis probleemi kinni püüdis, polnud kellegi teekaardil ehitatavana, väärib teadmine, et see oli oluline, dokumenteerimist. Vastasel juhul saab see pärast intsidendi hääbumist madalama prioriteedi ja järgmisel korral oled pime.

Nende intsidentide kuhjuv kulu, kus kaassoodustavaid tegureid ei käsitleta ja töötanud käsiraamatuid ei hooldata, koguneb kiiresti. Koosolekumaks käsitleb, kuidas korduvate koosolekute üldkulu ja intsidentide ülevaatevõlg omavahel mängivad.

Miks on postmortem-i jäädvustamine erakordselt raske

Postmortem-arutelud toodavad tihedat, struktureerimata sisu kiiresti: ajajoone rekonstrueerimine, konkureerivad tõlgendused, mitme inimese tegevuste määramine, tehnilised detailid, millel transkriptsioonis ilma kontekstita mõtet pole. Mälu järgi või toimetatud helist kirjutatud postmortem-i kokkuvõte on peaaegu alati puudulik ja puudulikud postmortem-kirjed on intsidentideülese mustrituvastuse jaoks kasutud.

Pavleur jäädvustab kogu postmortem-arutelu ja loob aruande automaatselt — ajajoon nagu rekonstrueeritud, kaassoodustavad tegurid nagu nimetatud, tegevused koos vastutajate ja kategooriatega nagu koosolekul välja öeldud. Kui keegi jagas oma ekraani, et näidata logiväljavõtet, seiregraafikut või rakendumata jäänud alarmi seadistust, on see visuaal aruande osa. Pelgalt heliga tööriistad lasevad selle täielikult mööda; postmortem-kirje ilma graafikuteta on kirje ilma tõenditeta. Igaüks meeskonnas — sealhulgas insenerid, kes liituvad pärast intsidenti — saab lugeda täieliku, visuaalset konteksti sisaldava kirje, ilma et peaks kedagi paluma seda rekonstrueerida. Otseseks võrdluseks teiste tööriistadega selle osas: Pavleur vs. alternatiivid.

Postmortem-i sagedusest

Pea postmortem 48 tunni jooksul pärast intsidendi lahendamist, kuni detailid on värsked. Mida kauem sa ootad, seda rohkem sõltub ajajoone rekonstrueerimine mälust, mitte logidest, ja mälu on stressi all ebausaldusväärne. Kõrge raskusastmega intsidentide puhul on 24 tundi parem. Väiksemate intsidentide puhul võivad asünkroonsed postmortem-id — struktureeritud küsimustega jagatud dokument, mis vaadatakse üle sünkroonselt — olla täiskoosolekust tõhusamad. Koosolekuvorm on kõige väärtuslikum siis, kui intsident oli piisavalt ebamäärane või kõrge panusega, et ühine tõlgendus loeb.