Kwaliteitscontrole, steekproeven en dan?

Een van de aspecten waar zorgdragers bij een machtigingsverzoek om permanent te bewaren archiefbescheiden te mogen vervangen aandacht aan moeten besteden is controle. Hoe zal de organisatie vaststellen dat de reproducties goed genoeg zijn om de plaats van de originelen in te nemen. En iedere keer gaat dit ook weer fout… Het gaat me dan niet om de criteria die gehanteerd worden om vast te stellen of een scan goed (genoeg) is, maar om de methode van controle.
In heel veel handboeken of digitaliseringsplannen komen zinnen voor als:

De norm bij deze controle is bepaald op 96%. We accepteren dat per dag 8 documenten (4%) niet goed gescand zijn en opnieuw gescand moeten worden.

Los van het feit dat hier relatieve en absolute aantallen door elkaar gebruikt wordt, is de vraag natuurlijk: wat gebeurt er als er een negende fout gevonden wordt? En hoe wordt vastgesteld dat niet meer dan 4% van de registraties fout zijn, hoeveel documenten worden gecontroleerd om dit vast te stellen?
Het Stadsarchief Amsterdam schrijft in zijn verder uitstekende Aanbevelingen voor digitalisering van tekstdocumenten ten behoeve van het concern Amsterdam (pdf):

Het is daarbij zinvol om de controleprocedure op papier te zetten en voor de verschillende kwaliteitseisen foutmarges te hanteren.

Op deze zin volgt een uitgebreide en gedetailleerde beschrijving van de manier waarop allerlei aspecten gecontroleerd zouden kunnen worden. Maar het vaststellen van de "foutmarges" wordt niet nader toegelicht.
In de richtlijnen van het Geheugen van Nederland staat onder 2.1 Steekproef:

Van een batch wordt 10% getest. Als meer dan 1% van de batch niet voldoet aan de normen (op basis van de onderstaande kwaliteitseisen), dan wordt de batch teruggezonden. De batch wordt dan in het geheel nagelopen en waar nodig verbeterd. Als minder dan 1% van de batch fouten vertoont, worden alleen de foute afbeeldingen teruggezonden en verbeterd. Als de batch terugkeert zal opnieuw een controle worden uitgevoerd. Gaat het om 10.000 stuks dan worden er 1000 bekeken. De 10.000 voorwerpen worden in 10 batches van 1000 verdeeld. Uit elke batch worden er 100 bekeken. Gaat het om de eerste batch dan wordt afbeelding 50 tot 150 bekeken.

Dat ziet er al iets beter uit, maar in dit voorbeeld wordt er dus van uit gegaan dat ongeacht het aantal te controleren eenheden het controleren van 10% daarvan goed genoeg is. (De richtlijnen worden momenteel aangepast, dus misschien is dit in de nieuwe versie ook wel veranderd.)

Nog een laatste voorbeeld:

Naam proces	Beoordelen ingekomen (analoge) post
Controlecriteria (+ normering)	Keuze juiste DSP-proces (98% juist)
Uitvoering controle	Maandelijks representatieve steekproef van minimaal één procent van de ingekomen documenten

Het probleem hierbij is dat de absolute aantallen waar het om gaat, te klein zijn. De verwachting is dat er in totaal ongeveer 5.000 documenten per maand geregistreerd worden. Dat betekent dus dat er 50 documenten gecontroleerd worden en dat er maar één registratie fout mag zijn.

Hoe zou het dan wel moeten? Daar is een norm voor!
Om te beginnen dit: 100% controle heeft weinig tot geen zin en geeft alleen de schijn van volmaaktheid. Je weet namelijk nooit hoeveel fouten bij het controleren gemaakt worden.
Om dit tegen te gaan heeft het Amerikaanse leger in 1950 een statistische methode ontwikkeld: Acceptable Quality Level. Hier vind je de ‘originele’ norm (pdf).
Hoewel ik geen statisticus ben (verre van dat zelfs), ga ik hieronder toch proberen die AQL-methode uit te leggen, in de hoop dat er in de toekomst wat beter gekeken wordt naar de toepassing van steekproeven om onder andere scan-opdrachten te controleren.

AQL
De opzet van de kwaliteitscontrole is afhankelijk van verschillende factoren:

1. Geaccepteerd Kwaliteitsniveau
2. Bestandsomvang
3. Controleniveau
4. Goed- en afkeuren
5. Steekproefplan

Geaccepteerd Kwaliteitsniveau
Dit is het laagste kwaliteitsniveau dat gemiddeld genomen geaccepteerd wordt. Bijvoorbeeld: in 1% van de aangeleverde documenten mogen fouten zitten. (Dit betekent overigens NIET dat de leverancier bewust ‘foute’ documenten mag aanleveren.)

Controleniveaus
De norm onderscheidt drie verschillende controleniveaus: I, II en III. Hierbij is II het standaard controleniveau. I is voor het versoepelde controleniveau en III geldt voor verscherpte controles.
Het idee achter het systeem is dat een leverancier ‘krediet’ kan opbouwen, waardoor de afnemer minder strikt kan of juist strikter moet gaan controleren. Meestal wordt hierbij van het volgende uitgegaan:

• Start: controleniveau II
• Van normale naar verscherpte controle: Wanneer 2 van 5 opeenvolgende batches worden afgekeurd.
• Van verscherpte naar normale controle: Wanneer 5 opeenvolgende batches zijn goedgekeurd.
• Van normale neer versoepelde controle: Wanneer
• de 10 voorgaande batches zijn goedgekeurd EN
• het totaal aantal fouten uit de voorgaande 10 batches kleiner is dan het van toepassing zijnde aantal uit tabel VIII uit de norm
• Van versoepelde naar normale controle: Wanneer een batch wordt afgekeurd.

Er worden ook nog drie "speciale" controleniveaus beschreven, maar die zijn voor nu even niet relevant.

Bestandsomvang / batch
Dit is het totale aantal geproduceerde / geleverde items waarvan de kwaliteit vastgesteld moet worden. Meestal zal van iedere batch die geleverd wordt, een bepaalde kwaliteit geëist worden.
Bijvoorbeeld: Een leverancier levert één keer in de week circa 5.000 gescande documenten. In de norm wordt aan iedere bestandsomvang een aparte letter toegekend. In het schema hieronder staan de kenletters voor de drie normale controleniveaus en de drie speciale niveaus:

Bij een batchomvang van 5000 items, hoort dus kenletter L voor het normale "start-controleniveau".
Aan de hand van de kenletter kan dan in onderstaande tabel de steekproefomvang vastgesteld worden.

Bij kenletter L hoort een steekproef omvang van 200 items. Van de 5000 aangeleverde bestanden moeten dus 200 willekeurige bestanden gecontroleerd worden.

Goedkeuren of afkeuren
Een batch wordt goed gekeurd als het aantal fouten kleiner is dan het maximaal toegestane aantal fouten uit Tabel 2. De geconstateerde fouten dienen overigens wel gecorrigeerd te worden door de leverancier.
Wanneer het aantal fouten de maximumwaarde overschrijdt, wordt de hele batch afgekeurd en moet de leverancier deze helemaal opnieuw aanleveren. De batch wordt dan opnieuw, op dezelfde manier gecontroleerd.
Als je van een geaccepteerd kwaliteitsniveau van 1% uitgaat,dat in dit voorbeeld dat er van de 200 items maximaal vijf fout mogen zijn. Zodra de zesde fout geconstateerd wordt, wordt de hele batch afgekeurd.

Kwaliteit van de batch
Bij het vaststellen van een controleprotocol moet altijd de vraag zijn: hoeveel fouten accepteer ik? Maar, de vraag is ook: Hoe groot is de kans dat ik met mijn controleprotocol te veel foute items "doorlaat"? Dit is  met behulp van de "Operating Characteristics" uit de norm vast te stellen.
In het voorbeeld hierboven ging ik uit van een batchomvang conform Kenletter L en een (gemiddeld) geaccepteerd kwaliteitsniveau van 1%. Maar hoe groot is nu de kans dat een batch met 3% fouten ten onrechte wordt goedkeurd?

Om dat vast te stellen zoek je in bovenstaande grafiek (ik heb er helaas geen van een betere kwaliteit kunnen vinden) op de x-as naar 3%. Daarna ga je naar boven tot je aan de lijn voor 1% komt en lees je op de Y-as de erbij horende waarde af: 45%. Dit betekent dat in 45% van de gevallen een batch met 3% fouten ten onrechte goedgekeurd zal worden. Vind je dit te veel, dan zul je dus een hoger geaccepteerd kwaliteitsniveau moeten afspreken, bijvoorbeeld 0,65, waardoor een batch met 3% fouten slechts in 15% van de gevallen goedgekeurd wordt. Een ander alternatief is kiezen voor een "strenger" controleniveau kiezen, bijvoorbeeld III, waar  kenletter M bij hoort. In dat geval wordt een batch met 3% fouten in ongeveer 25% van de gevallen ten onrechte goedgekeurd.

Steekproeven ja, maar wel goed
Het nemen van steekproeven kan een goede manier zijn om de gemiddelde kwaliteit van scans te controleren. Maar dan moet je niet 'zo maar' een steekproef nemen en 'zo maar' een foutenmarge kiezen. Met behulp van de AQL is het mogelijk om een weloverwogen steekproef te nemen die ook iets zinnigs zegt over de kwaliteit van de hele batch. En hoewel het in eerste instantie ingewikkeld lijkt, hoop ik dat hiermee duidelijk geworden is, dat dat reuze meevalt.

Afbeeldingen
Quality Street van Nataliej
Table I
Table II