KPI, perversiteit en de kikker

No frogs were harmed in the making of this photo...

Twee maanden geleden publiceerde de Raad voor Maatschappelijke Ontwikkeling het rapport Tegenkracht organiseren. Lessen uit de kredietcrisis. In het rapport probeert de raad de vraag te beantwoorden in hoeverre de handelingspatronen die tot de kredietcrisis hebben geleid, ook in de publieke sector aanwezig zijn. Hierbij gaan zij uit van "onbedoelde perversiteiten" die het gevolg zijn van de manier waarop "sturingsinstrumenten" gebruikt worden. Dit klinkt ingewikkeld, maar is het eigenlijk niet.
Als een van de casus geven ze de CITO-toets in het basisonderwijs. In principe zegt een CITO-score alleen iets over een individuele leerling. En daar is niets mis mee, als het daartoe beperkt bleef.
De score zegt nauwelijks iets over de kwaliteit van de school, want de "toegevoegde waarde" van de school komt er niet in naar voren. Om dat te meten zou je bijvoorbeeld ook het aanvangsniveau van een kind moeten meten. Maar, en nu komt de perversie, dat gebeurt niet.
Scholen publiceren enkel hun gemiddelde CITO-scores en proberen die zo hoog mogelijk te laten zijn. Want ouders selecteren de basisschool voor hun kinderen op basis van die scores. Juist omdat iedereen zoveel waarde hecht aan die CITO-score (ook de Inspectie van het Onderwijs gebruikt ze, al relateren zij de scores nog aan het opleidingsniveau van de ouders), doen scholen van alles om die scores zo hoog mogelijk te laten zijn. Scholen laten kinderen die laag zullen scoren niet mee doen aan de toets, passen het onderwijsprogramma aan aan de structuur van het toetsingssysteem en gebruiken onderwijsmateriaal dat een gunstige Cito-score belooft.

Juist omdat iedereen zo veel waarde aan de toets hecht, bestaat het risico dat het onderwijs zich alleen nog ten dienste stelt van het behalen van een hoge score. En dat is iets anders dan het nastreven van onderwijsdoelen.

De RMO stelt niet dat de CITO-toets niet deugt, of dat er sprake is van bewust verkeerde intenties bij scholen, ouders en uitgevers. Het gaat de raad vooral om het gebrek aan "tegenkracht" waardoor de geleidelijke omslag van productiviteit naar perversiteit niet gekeerd kan worden.
Die omslag gaat in drie stappen: abstraheren, domineren en strategisch handelen.
Eerst wordt de kwaliteit van een school geabstraheerd naar een "objectieve" Cito-score, dan wordt de CITO-toets de dominante en enige vorm om scholen te beoordelen en tenslotte gaan scholen hun werkwijze zo inrichten dat ze een optimale score behalen.

En dan nu de archieven
Na deze lange aanloop, ben ik nu toch eindelijk waar ik zijn wil: de archieven. Want ik ben een beetje bang dat de manier waarop op dit moment naar de "kwaliteit" van archieven en informatievoorziening wordt gekeken, perverse prikkels in zich heeft.
De VNG publiceert KPI's en presenteert die in een brief als volgt:

De diverse archiefwettelijke verplichtingen die voor u gelden zijn niet gemakkelijk te doorgronden. Derhalve hebben wij deze handzaam samengevat in tien Key Performance Indicators/KPI’s oftewel Kritische Prestatie Indicatoren gemeentelijke archiefketen. Via het beantwoorden van de daarbij behorende vragen komt u tot een oordeel of uw gemeente al dan niet aan de eisen voldoet.

Hier zie je het abstraheren al gebeuren: de archiefwettelijke verplichtingen zijn ingewikkeld, maar op basis van slechts tien eenvoudige punten kun je vaststellen of je er aan voldoet.
Aansluitend hierbij werkt de VNG blijkbaar aan een "een model jaarverslag, dat gebruikt kan worden voor de formulering van het verslag aan het college en de raad." Dit werkt een verdere dominantie van de KPI's in de hand.
Iets vergelijkbaars zie je bij de Kwaliteitsmonitor Dienstverlening Archieven van BRAIN. De onderdelen die daarin onderzocht worden, zijn niet verkeerd of raar, het is alleen dat het om "gestolde inzichten" (zo zegt Luud dat geloof ik) gaat. Als je iets anders, beters, vernieuwends doet, dan komt dat niet of nauwelijks in deze monitor naar voren. En als het niets  oplevert in het meetinstrument,  waarom zou je het dan doen?
Of zoals de Raad zegt:

Abstrahering met in het kielzog het gebruik van selectiecriteria, kwantificering en het voldoen aan duidelijke protocollen is bedoeld om grip te krijgen op het proces van gerechtvaardigde toekenning van schaarse publieke voorzieningen. De werkelijkheid wordt vereenvoudigd om beter met die werkelijkheid te kunnen omgaan.
Het gaat echter fout als de vereenvoudigde werkelijkheid vereenzelvigd wordt met de werkelijkheid, als het model of het gekozen instrument rigide de variëteit aan belangen gaat overheersen. 

Tegenkracht en methodische armoede
Al deze "instrumenten" worden als onontkoombaar, alomvattend en zaligmakend gepresenteerd: "Als je dit doet, doe je het goed." Iedere nuancering is er uit gewerkt en "tegenspraak" wordt niet op prijs gesteld. De Raad noemt dit methodische armoede: er wordt nog maar vanuit één, vereenvoudigd perspectief gekeken, waarbij het instrument doel is geworden in plaats van middel.
De aanbevelingen van de Raad om dit te voorkomen zijn redelijk eenvoudig: zorg voor tegenkrachten en blijf alle belangen en de grotere context in het oog houden:

Om methodische armoede te voorkomen zijn de volgende aandachtspunten van belang voor bestuurders, beleidsmakers, professionals en toezichtorganen:

• Bestrijd enkelvoudigheid. Erken en aanvaard reflexiviteit in sociale omgevingen en zorg dat dit niet leidt tot het ondergraven van meervoudige belangen.
• Zorg ervoor dat nooit één instrument dominant kan worden in de regulering van de sector en dat er dus een variëteit aan instrumenten en methodes bestaat. Dit geldt zowel voor degenen die zich binnen een sector bezighouden met de keuze voor instrumenten als voor beleidsmakers die de kaders voor een sector mede beïnvloeden.
• Geef besturen van organisaties handelingsruimte om instrumenten al dan niet toe te passen of met een alternatieve methode te werken.
• Wees terughoudend in de koppeling tussen één instrument en financiering.

En die kikker?
Ach, dat is de beetje clichématige conclusie van de Raad (maar clichés zijn vaak waar natuurlijk):

 Doordat een duidelijk omslagpunt in de verhouding tussen productief en pervers overigens ontbreekt, is er nauwelijks ontvankelijkheid voor kritiek op het zich vor­mende patroon. Het is niet het verhaal van de kikker die in kokend water wordt gegooid en er direct uitspringt, maar van de kikker die op een laag­ borrelend vuurtje langzaam maar tevreden zijn ondergang tegemoet gaat. 

Gerelateerd
Weg met die checklisten

Afbeelding: Frog in a pot 1 van jronaldlee