Evalueren: hoe maak je het lerend effect het grootst?

Hoe zorg je ervoor dat je zo veel mogelijk van een crisis leert? Dat is waar het bij een evaluatie om draait. “Het mooiste is als mensen zelf inzien wat hun verbeterpunten zijn”, zegt evaluator Gerrit van de Streek. “Dan is het lerend effect het grootst.”

Wat is de belangrijkste valkuil bij het maken van een evaluatie? “Dat is dat je als evaluator zelf gaat oordelen over de inhoudelijke, technische aspecten in plaats van de procedurele kant”, zegt Gerrit van de Streek. “Het lijkt soms alsof je vanuit je eigen vermeende ervaring ziet wat er verbeterd kan worden. Maar als evaluator ben je niet altijd een inhoudsdeskundige, zoals bij een ICT of medisch gerelateerde crisis. Je kijkt in belangrijke mate naar de proceskant van de crisisaanpak én naar de onderlinge samenwerking. Vervolgens is het de kunst om de verbeterpunten zo te benoemen én te rapporteren dat de organisatie het herkent en ervan leert.”

Gerrit is evaluator bij het trainings- en adviesbureau Parcival. In een interview vertelt hij wat voor hem de belangrijkste do’s en don’ts zijn.

Kun je allereerst uitleggen wat voor type evaluaties er zijn?

“Er zijn drie soorten evaluaties. In de eerste plaats heb je de realtime evaluatie. Hierbij kijk je als evaluator een aantal keren live mee tijdens de crisisoverleggen. Zo kun je meteen na afloop van zo’n overleg én als de situatie het toelaat realtime advies geven.

Ten tweede heb je de after action review (ARR). Deze evaluatie wordt na operationele acties veel gebruikt bij (speciale) eenheden van defensie, bij de politie en de brandweer. Dit wordt direct na een inzet bij een crisis gedaan. Hierbij kijkt het team terug op de wijze van de aanpak en uitvoering van het incident. Tot slot heb je de evaluatie achteraf. Dit is vaak in opdracht van bijvoorbeeld het bestuur of het management van een organisatie.”

Hoe gaat zo’n realtime evaluatie in zijn werk?

“Bij een realtime evaluatie kijk je als evaluator mee tijdens de crisisoverleggen. Je kijkt hoe de onderlinge samenwerking is, of de processtappen goed en volledig worden doorlopen en hoe de intermenselijke verhoudingen zijn.

Het belangrijkste bij deze evaluatie is dat je het proces niet verstoort. Immers, het team zit midden in een crisis en moet zich concentreren op de aanpak en vaak ook de bedrijfscontinuïteit. Als ik een verbeterpunt zie – en de situatie laat het toe – dan loop ik na afloop van dat overleg even naar de voorzitter of de persoon en benoem mijn punt. Zo kan hij of zij het meteen toepassen in de praktijk.”

Wat voor verbeterpunten kunnen dat zijn?

“Zeker bij een gecompliceerde crisisaanpak met meerdere tegelijk opererende en deels van elkaar afhankelijke crisisteams (bijvoorbeeld een operationeel en strategisch team) is het belangrijk dat iedereen zich strikt aan de vergaderdiscipline en voor de volledigheid aan de BOB-methodiek houdt en zich beperkt tot de noodzakelijke informatie. Het uitgangspunt moet zijn dat ieder lid van het team taakbekwaam is voor zijn eigen rol. De verbeterpunten zitten vaak op die gebieden.

Afhankelijk van de hectiek van het moment kan ik besluiten om een teamlid of voorzitter te benaderen om tussentijds een waarneming te delen. Vaak zie je dat het dan bij een volgend overleg al beter gaat.”

Wat vind jij belangrijk bij het geven van die feedback?

“Dat mensen in hun kracht blijven staan. Daarom noem ik tijdens de realtime evaluaties in beginsel alleen punten waar zij meteen iets mee kunnen en die het proces versterken. Als ik verbeterpunten zie die het proces zouden kunnen verstoren of die ervoor kunnen zorgen dat mensen zichzelf niet meer zijn, houd ik op dat moment mijn mond. Een uitzondering daarop kan zijn als het de crisisaanpak daar zoveel hinder van ondervindt dat de effectiviteit aan kwaliteit inboet.

Mensen vinden het vaak al lastig dat ik erbij ben. Als ik me er teveel mee ga bemoeien, voelen zij zich niet meer vrij om te doen wat ze moeten doen. Ik vind het belangrijk dat ik geen stoorzender ben.”

Realtime evaluaties worden vaak tijdens crisistrainingen gedaan. Waarom is het goed om dit ook tijdens een echte crisis te doen?

“Omdat tijdens een echte crisis de emoties een andere rol kunnen gaan spelen. Mensen zijn getraind, dus iedereen weet wat er moet gebeuren. Toch is het tijdens een echte crisis anders, omdat iedereen een bepaalde spanning voelt of (in)direct betrokken is. Het kan dan fijn zijn dat een objectieve evaluator even meekijkt.

Bovendien kan er tijdens een crisis van alles gebeuren. Je kunt bijvoorbeeld merken dat het de verkeerde kant op gaat doordat men zich teveel op bijzaken focust. Tijdens trainingen wordt er dan vaak een time out ingelast. Zo voorkom je dat de trein doordendert op het verkeerde spoor. Tijdens een daadwerkelijke crisis kun je na een overlegronde daarover met de voorzitter even overleggen.

Gerrit werkte ruim 40 jaar in verschillende operationeel leidinggevende en beleidsmatige functies bij de politie, waarbij hij de laatste 5 jaar als nevenfunctie evaluator was bij een (Nationale) Staf Grootschalig en Bijzonder Optreden (N-SGBO) .

Vervolgens maak je na de crisis een rapport. Hoe pak je dat aan?

“Ik vraag altijd eerst na een inzet hoe de teamleden vonden dat het ging. Hoe verliepen de vergaderingen volgens hen? Hebben ze iets gemist? Wat zou beter kunnen?

Ze kunnen namelijk beter zelf aangeven welke verbeteringen ze zien, dan dat ik het zeg. Vaak noemen ze veel aspecten die ik ook gezien heb. Vervolgens zeg ik welke extra verbeterpunten ik nog heb. Van het totaal maak ik een rapport dat naar de opdrachtgever gestuurd wordt. Uiteraard hoop en verwacht ik dat er met de aanbevelingen daadwerkelijk iets wordt gedaan.”

Hoe vaak moet je als evaluator bij overleggen zitten om goed te kunnen evalueren?

“Dat hangt erg er vanaf wat het team en de organisatie wil. Meestal is twee of drie keer voldoende.”

Als tweede noemde je de after action review. Hoe gaat dat in zijn werk?

“Dat is een evaluatie die het team zelf doet. Daar is geen evaluator bij. Het moet echt in de beslotenheid van de groep gebeuren. Je neemt na afloop van de crisis even samen een kopje koffie en je vraagt aan elkaar: hoe is het gegaan? Was de opdracht duidelijk? En hoe was de uitvoering?

Zeker als je samen iets heftigs hebt meegemaakt, is dit ook goed voor de verwerking. Van deze evaluatie wordt in principe geen rapport gemaakt. Het is voldoende om de fouten én de goede dingen te benoemen. Dat heeft al een lerend effect van zichzelf.”

En dan heb je nog de evaluatie achteraf, bijvoorbeeld in opdracht van een bestuur of directie. Wat zijn daarbij de belangrijkste aandachtspunten?

“In de eerste plaats dat er duidelijk omschreven wordt wat je onderzoeksopdracht is. En in de tweede plaats dat je alle betrokken personen die je wenst te spreken ook beschikbaar zijn en vooraf geïnformeerd worden door de organisatie. Daarnaast moeten alle documenten, zoals de plannen en de verslaglegging, voor de evaluator beschikbaar zijn.”

Wat vind je belangrijk bij deze evaluatie?

“Dat het voor iedereen helder is dat er tijdens de hectiek van een crisisaanpak fouten gemaakt mogen en kunnen worden. Het doel van een evaluatie is om ervan te leren en niet om te zwarte pieten”

Gerrit: ‘Ik hoop dat er een cultuur ontstaat waarin managers zien hoe belangrijk evaluaties zijn om te groeien in de crisisrol’

Kun je daar een voorbeeld van geven?

“Stel dat er tijdens een crisis veel chaos is ontstaan, omdat de verwanten niet op de juiste locatie zijn opgevangen. Dan is het interessant om van de persoon die zo’n beslissing heeft genomen te horen waarom hij dat gedaan heeft. Was hij de juiste persoon om dit besluit te nemen? Was hij op de hoogte van de beschikbare plannen en waren die plannen up-to-date? Als hij wist hij dat er een andere locatie in de plannen stond, wat was dan de reden om daarvan af te wijken?

Gerrit: ‘Ik hoop dat er een cultuur ontstaat waarin managers zien hoe belangrijk evaluaties zijn om te groeien in de crisisrol’

Het mooiste is als hij zelf goed weet uit te leggen waarom het mis is gegaan. Dat is echt een win-winsituatie, want daarmee leg je niet alleen het verbeterpunt bloot. Het betekent ook dat de persoon die wellicht een inschattingsfout heeft gemaakt zich herkent in de bevindingen. En misschien was zijn keuze wel een veel betere oplossing.”

En wat is een belangrijk aandachtspunt voor de evaluator?

“Dat je je beseft dat de wereld niet zwart-wit is. Er blijft een groot grijs gebied over. Soms is het verboden om ‘linksaf’ te gaan en is er toch een reden om dat wel te doen. Plannen zijn niet in beton gegoten en zijn een leidraad om te helpen bij besluitvorming. Weliswaar moet je ervan uitgaan dat er uitvoerig is nagedacht over de inhoud van die plannen. De verklaring om ervan af te wijken is dan belangrijk. Het kan leiden tot bijstelling van de plannen.

Ik vind het belangrijk dat je daar als evaluator niet te snel het label goed of fout opplakt. Ik spreek echter liever over een ‘verbeterpunt’ dan over een ‘fout’. Misschien was er op dat moment wel een goede reden om anders te beslissen. Ik kan wel aangeven dat er niet volgens de richtlijnen is gehandeld en wat de motieven daarvan waren. Maar betekent dat dan dat mensen zich beter aan de richtlijnen moeten houden? Of moeten de richtlijnen aangepast worden zodat ze beter passen bij de praktijk?”

Hoe hoop je dat evaluaties zich de komende jaren ontwikkelen?

“Ik hoop dat er een cultuur ontstaat waarin managers zien dat evaluaties belangrijk zijn om zichzelf en medewerkers in de crisisrol te laten groeien. Natuurlijk kost het tijd. Maar het verdient zich ruimschoots terug, omdat het veel doet met de ontwikkeling van het team. Uiteindelijk maakt dat je als organisatie rijker.”