Kronikk
«Å vurdere en øvelse, uten å være tilstede»
Et tilsvar til innlegget «Når alle markørene puster, hva er det man egentlig tester?»
Dette er en meningsytring. Innholdet gir uttrykk for forfatterens holdning.
Det er både riktig og viktig å stille kritiske spørsmål til hvordan vi planlegger, gjennomfører og evaluerer øvelser.
Vi bør alltid være opptatt av om en øvelse faktisk tester det vi sier at den skal teste, og om erfaringene fra øvelsen gir oss et godt nok grunnlag for å forbedre beredskapen.
Kritisk evaluering forutsetter også at man skiller mellom det man faktisk vet, og det man tror og antar.
Men kritisk evaluering forutsetter også at man skiller mellom det man faktisk vet, og det man tror og antar. Hvis ikke blir vurderingen så tynn og subjektiv at lesere kan tro artikkelforfatteren har en annen agenda enn hva han utgir seg for.
Han beskriver hvordan øvelsen etter hans syn ikke fikk testet den nye triagemodellen, og konkluderer blant annet med at øvelsen i realiteten ble en demonstrasjon eller en markeringsøvelse.
Det er sterke konklusjoner.
Problemet er at de i stor grad bygger på antagelser og observasjoner fra utsiden, mens de som faktisk planla, deltok gjennomførte og evaluerte øvelsen satt med et helt annet erfaringsgrunnlag.
Fakta: fem av 165 markører spilte død.
Et sentralt premiss i kronikken er at markørene «levde», og at dette gjorde det umulig å teste om personellet klarte å identifisere personer som var antatt døde.
Det er en fremstilling som trenger betydelig nyansering.
Under øvelsen var det 165 markører. Av disse var det fem som skulle spille døde. Det betyr at langt de fleste markørene nettopp skulle fremstille levende skadde med ulike skadebilder.
At fem av 165 markører hadde rollen som døde, har sammenheng med scenarioet og hva øvelsen faktisk skulle oppnå.
En fullskala masseskadeøvelse består av langt mer enn én enkelt vurdering.
En fullskala masseskadeøvelse består av langt mer enn én enkelt vurdering.
Den skal blant annet sette samvirke, ledelse, kommunikasjon, prioritering, ressursdisponering, evakuering og medisinsk behandling under press.
Videre skal den fremme en felles situasjonsforståelse. Det er derfor en betydelig forenkling å redusere øvelsens verdi til spørsmålet om hvorvidt en markør fremstår som livløs eller ei.
«Alle markørene puster» – men gjorde de egentlig det?
Kronikkens tittel gir inntrykk av at dette var et gjennomgående problem: «Når alle markørene puster, hva er det man egentlig tester?»
Men premisset om «alle» stemmer ikke. Fem markører skulle spille døde, mens de øvrige representerte skadde personer.
Det er selvsagt mulig å diskutere om antallet døde markører burde vært høyere. Det kan være et legitimt spørsmål i en evaluering av øvelsen.
Men det er noe ganske annet å hevde at fordi ikke alle markørene kunne fremstå som døde, så ble selve testen av modellen satt ut av spill.
En øvelse skal nettopp ikke nødvendigvis gjenskape alle forhold i en reell hendelse én til én. Spørsmålet må være om scenarioet og markørbildet var tilstrekkelig til å oppnå de øvingsmålene som var satt.
Det er her kronikken sporer av og hopper raskt fra en mulig forbedringsmulighet til en konklusjon om at øvelsen ikke testet det den skulle.
De som faktisk var der, opplevde noe annet
Det mest oppsiktsvekkende er kanskje at kronikkforfatterens bastante konklusjon ikke er i samsvar med vurderingene til dem som faktisk observerte innsatspersonellet gjennom øvelsen.
Et høyst kompetent instruktørkorps fulgte opp hvordan markører og innsatspersonell håndterte situasjonen. De observerte ikke at innsatspersonellet presterte dårligere som følge av den påståtte «forvirringen» kronikkforfatteren beskriver.
Tilstedeværende observatører med mange tiårs erfaring i øvingsgjennomføring kjenner seg ikke igjen i påstanden.
Tvert imot ble øvelsen vel gjennomført, og personellet løste oppgavene sine i det scenarioet de ble satt inn i.
Det holder ikke å konstruere en mulig effekt på forhånd og deretter behandle den som om den faktisk oppsto.
Det er verdt å stoppe opp ved dette: dersom man skal hevde at en øvelse ikke testet det den skulle fordi premissene førte til at aktørene fikk en feilaktig forståelse av situasjonen, bør det kunne vises til konkrete observasjoner fra øvelsen som underbygger dette.
Det holder ikke å konstruere en mulig effekt på forhånd og deretter behandle den som om den faktisk oppsto.
En øvelse kan alltid gjøres mer realistisk
Det betyr ikke at Mimmisbrunnr var perfekt eller at måten norske fullskalaøvelser gjennmføres på ikke kan forbedres Det finnes alltid forhold ved en øvelse som kunne vært enda mer realistiske.
Det gjelder særlig store øvelser, hvor man hele tiden må prioritere mellom realisme, sikkerhet, læringsmål, tilgjengelige ressurser og muligheten til å kontrollere hva man faktisk ønsker å øve på.
Det er også helt legitimt å diskutere om flere markører burde ha vært lagt inn som døde, om andre deler av scenarioet kunne vært mer uforutsigbare, eller om enkelte elementer burde vært gjennomført annerledes.
Men det er nettopp dette som er poenget med evaluering.
Vi må skille mellom «Dette kunne vi gjort annerledes» og «Dette gjorde at øvelsen ikke testet det den skulle».
Det første kan være en nyttig lærdom. Det andre er en langt sterkere påstand som krever et langt bedre faktisk grunnlag og forankring.
Det er forskjell på å se en video og å være i øvelsen
Kronikkforfatteren viser blant annet til en video fra øvelsen og vurderer ut fra denne at forholdene var roligere enn han hadde forventet.
En kort videosekvens er ikke det samme som å stå midt i øvelsen.
Det er forståelig at en video kan gi et inntrykk av hvordan en øvelse fremstår. Men en kort videosekvens er ikke det samme som å stå midt i øvelsen.
Den sier lite om hva som har skjedd før kameraet kommer på, hva som skjer utenfor kamerabildet, hvilke meldinger som går på samband, hvilke beslutninger som tas, hvilke oppgaver som allerede er løst, og hvilke instruksjoner eller forstyrrelser personellet samtidig må håndtere.
En øvelse er en tredimensjonal og dynamisk situasjon. En video er et redigert utsnitt.
Det er derfor betimelig å spørre om stipendiaten kan mene noe så kategorisk om kvaliteten på en øvelse man ikke selv har deltatt i, basert på blant annet et begrenset visuelt inntrykk.
Misforståelse å sette «testing» og «øving» opp mot hverandre
Kronikken gjør et viktig poeng ut av skillet mellom kompetanseheving, testing og markering. Det skillet er nyttig.
Men en stor fullskalaøvelse kan samtidig inneholde elementer av alle tre.
Mimmisbrunnr var ikke et laboratorieeksperiment hvor én variabel skulle isoleres og måles under kontrollerte forhold. Det var en fullskalaøvelse hvor flere aktører skulle samhandle i et omfattende scenario.
Det er nettopp derfor øvelser er verdifulle.
Vi lærer ikke bare om hvorvidt en bestemt metode kan gjennomføres i teorien. Vi lærer også hvordan mennesker, organisasjoner og systemer fungerer når flere ting skjer samtidig.
Det er en type kunnskap som ikke kan hentes ut av en teoretisk test alene som akademia bør ha en varsom og ydmyk tilnærming til.
Men hva med muligheten for å gjøre feil?
Kronikkforfatteren har rett i én viktig ting: Dersom man ønsker å teste om personell klarer å identifisere en person som er antatt død, må det finnes en reell mulighet for at vurderingen kan bli feil.
Det er et relevant faglig poeng.
Men igjen må man skille mellom hva som kunne vært testet annerledes, og hva øvelsen faktisk testet.
At fem markører spilte døde, innebærer at det faktisk var mulig å møte personer i øvelsen som skulle vurderes som døde.
Hvor godt dette ga grunnlag for å teste den konkrete metodens treffsikkerhet, er et relevant evalueringsspørsmål.
Det er imidlertid ikke det samme som at hele øvelsen dermed var mislykket, eller at metoden ikke ble øvd.
Vi bør lytte til dem som observerte øvelsen
Kronikkforfatteren avslutter med selvfølgeligheten om at de som en dag skal bruke verktøyet i en reell hendelse, fortjener at det er prøvd under forhold som ligner virkeligheten.
Men de samme menneskene fortjener også at diskusjonen om øvelsene de deltar i, er basert på et korrekt bilde av hva som faktisk skjedde.
Hvis vi virkelig ønsker å bli bedre, må vi lytte til dem som planla øvelsen, dem som deltok, og ikke minst det kompetente instruktør- og evalueringsapparatet som observerte innsatsen.
Det er mulig å være spørrende kritisk til en øvelse uten selv å være til stede. Men da bør man være tilsvarende forsiktig med bastante konklusjoner.
Vi bør være forsiktige med å fortelle dem som faktisk sto midt i øvelsen, at de egentlig ikke øvde på det de skulle.
Men vi bør være forsiktige med å fortelle dem som faktisk sto midt i øvelsen, at de egentlig ikke øvde på det de skulle – særlig når konklusjonen bygger på observasjoner fra avstand, og når de som faktisk observerte innsatspersonellet, ikke kan bekrefte at den påståtte forvirringen førte til dårligere prestasjoner.
Å stille kritiske spørsmål til en øvelse er sunt. Å konkludere før man har sett hele bildet er noe annet.
Og kanskje er nettopp det en viktig lærdom også for oss som evaluerer øvelser: Vi må vite hva vi faktisk har observert, hva vi har testet – og hva vi bare antar.
Tatt i betraktning den brede interresse krisehåndtering og beredskap har fått, er det stadig flere meninger omkring hvordan problematikken skal håndteres i praksis.
Disse bør være fundamentert i solide fakta, slik at det «å ha meninger om beredskap» ikke blir en fagdisiplin i seg selv.
