Thunderbirds, archieven en vervanging

Om een losgeslagen ruimtemijn onschadelijk te maken, hebben de Thunderbirds een code nodig die op een gescand formulier staat.  Helaas is de scan slecht, waardoor het laatste cijfer onleesbaar is. Gelukkig wordt het papieren formulier bewaard in een gigantisch archiefdepot onder Londen. De dienstverlening is nogal krakkemikkig: een robot-telefoniste, een receptioniste, formulieren en een commissie liggen dwars. Maar Miss Penelope en haar chauffeur Nosey laten zich niet uit het veld slaan...

Thunderbirds are go!

Over de impact van digitalisering op het archiefproces

Vorige week berichtte de minister van OCW de Tweede Kamer dat de voorgenomen fusie van de Koninklijke Bibliotheek en het Nationaal Archief definitief niet doorgaat. (Hoera daarvoor). Samen met die brief stuurde ze ook een Eindrapport Impactanalyse & Scenarioverkenning naar de Kamer. In het rapport brengen de heren Aalbers, Bloembergen en Bom van PBLQ HEC verslag uit van een verkenning naar

1. de impact van de digitale archiefvorming binnen de rijksoverheid op de huidige uitvoering van de archiefwettelijke taak door de minister van OCW en,
2. het schetsen van scenario’s om onzekerheden, de relevante risico’s en gevolgen bij de uitvoering van deze wettelijk vastgelegde taken (Archiefwet), zoals die uit de impactanalyse naar voren komen, te ondervangen.

Al met al viel het rapport me niet mee, een paar constateringen.

Archief is niet alleen permanent te bewaren informatie.
Twee jaar geleden, toen staatssecretaris zijn nieuwe ideeën over selectie en vernietiging presenteerde, constateerde ik dat men op het ministerie blijkbaar denkt dat alleen permanent te bewaren informatie "archief" is. Helaas blijkt uit alles dat de onderzoekers van PBLQ HEC daar ook van uitgaan. Enkele passages om dit te illustreren:

Er is de loop van de jaren een enorme toename van archiefmateriaal geconstateerd. Die wordt deels geweten aan het groeiende overheidsapparaat en de verplichting om op grond van de Archiefwet alle archiefbescheiden ouder dan twintig jaar (en die niet voor vernietiging in aanmerking komen) over de te brengen naar een bewaarplaats. (p.15)

Ja, het groeiende overheidsapparaat zorgt waarschijnlijk voor meer archiefbescheiden, maar waardering en selectie - waar de tweede reden naar verwijst - natuurlijk niet.

Met de grote hoeveelheden aan informatie die nu verwerkt worden, is het van belang om scherp te hebben welke informatie archiefwaardig is. Tijdens het werk zal hier aandacht voor moeten zijn. Als de selectie op een later moment plaatsvindt, dan is het risico levensgroot aanwezig dat omwille van ‘volledigheid’ te veel aan informatie wordt gearchiveerd. (p.19)

Maar, bijna al die informatie die nu "verwerkt" wordt, zijn archiefbescheiden in de zin van de wet (want ontvangen of opgemaakt door een overheidsorgaan). Selectie verandert daar niets aan, met selectie wordt alleen bepaald hoelang de archieven bewaard moeten blijven.

Om te beginnen – wat al in de vorige paragraaf is betoogd – ontstaat een goed archief tijdens het werkproces. En als het digitale archief er dan is, dan doet het er eigenlijk niet zo veel meer toe waar het fysiek is opgeslagen. Maar als zo’n archief niet gecreëerd wordt, is het nauwelijks doenlijk om met terugwerkende kracht alsnog een digitaal archief te vormen. (p.20)

Vanuit NEN-ISO 15489 zou deze passage waar kunnen zijn, want een van de uitgangspunten daarin is dat een organisatie vaststelt welke archiefstukken gevormd moeten worden om bewijs van het optreden van de organisatie te kunnen leveren. Maar gezien de rest van de passages, heb ik de indruk dat "archief creëren" hier gaat om het beheren van permanent te bewaren archiefstukken.

Daarnaast speelt het punt dat zorgdragers zich nog nauwelijks bewust zijn van het feit dat met digitaal werken er eigenlijk geen ‘archiefachterstanden’ meer kunnen ontstaan. Bij ongewijzigd beleid is het voorstelbaar dat er toch achterstanden komen, en zorgdragers – vanwege hun verplichtingen – besluiten om dan maar alle aanwezige digitale informatie te archiveren. Dit leidt eveneens tot een explosie aan kosten, omdat juist in het digitale tijdperk de omvang van archiefwaardig materiaal ten opzichte van beschikbaar materiaal enorm is (vooralsnog gaan wij uit van een factor 50 verschil).(p.24) 

Was er in het papieren tijdperk nog de mogelijkheid om achterstanden weg te werken, in het digitale tijdperk lukt dat niet meer. Daarvoor is de stroom aan informatie te omvangrijk, en zijn de kosten exorbitant hoog om vanwege het ontbreken van archieven alle digitale informatie duurzaam te bewaren (als dat al een oplossing zou zijn). Globale becijferingen geven aan dat de kosten voor het duurzaam bewaren van alle digitale informatie ten opzichte van het duurzaam bewaren en ontsluiten van archiefwaardige digitale informatie per jaar een factor 50 scheelt. (p.32)

Het punt van die laatste twee citaten is dat volgens PBLQ HEC maar twee procent van alle informatie binnen een ministerie permanent te bewaren is en dus aandacht verdient. Over die twee procent valt te discussiëren, want de werkzaamheden op kerndepartementen zijn vooral beleidsvormend en wetgevend en die "handelingen" worden altijd als B gewaardeerd. En in de huidige selectiemethodiek betekent dat, dat alle archiefbescheiden die voortvloeien uit die handelingen permanent bewaard moeten worden.
Maar, het grote probleem is dus dat zo goed als alle informatie die binnen een overheidsorganisatie gevormd of ontvangen wordt, archief is. Dus al die informatie zal als archief beheerd moeten worden, totdat deze op basis van de waardering in de selectielijst vernietigd kan worden. Zelfs als maar 2% van de informatie permanent te bewaren is, dat betekent niet dat de overige 98% aan zijn lot kan worden overgelaten.
Zoals ik eerder ook al gezegd heb: de meeste informatie die op basis van de Wob, of bijvoorbeeld een Rekenkamer-onderzoek of parlementaire enquête "nodig" is, is niet als permanent te bewaren gewaardeerd.

De minister van OCW is verantwoordelijk voor alle overgebrachte archieven
Iets anders dat in het rapport opvalt is dat er geen enkele keer wordt vastgesteld dat de minister van OCW zorgdrager is voor ALLE overgebrachte rijksarchieven (zie artikel 23, lid 3 van de Archiefwet). De onderzoekers schrijven:

In de Archiefwet zijn de volgende zaken geborgd (een en ander geschiedt bij Koninklijk Besluit):

• De zorgdrager is verantwoordelijk voor archivering, vanaf de archiefvorming tot met vernietiging en bewaring (tot moment van overbrenging);
• De minister van OCW wijst algemene bewaarplaatsen aan voor blijvende bewaring van de archieven van de rijksoverheid; het Nationaal Archief is belast met de feitelijke bewaring en alle taken die daaruit voortvloeien (denk aan publieksfunctie); de minister heeft de bevoegdheid om ook andere bewaarplaatsen aan te laten wijzen;
• Overbrenging van archieven naar zo’n algemene bewaarplaats gebeurt na een bewaartermijn van 20 jaar; de wet biedt ruimte om hierin uitzonderingen toe te staan;
• De minister van OCW benoemt een algemene Rijksarchivaris, die de regels bepaalt waar zorgdragers en bewaarders aan moeten voldoen, en tevens een adviserende rol naar de minister heeft;
• De minister van OCW benoemt een hoofdinspecteur die verantwoordelijk is voor de toezicht op het gehele archiefproces.(p.37)

Er staat wel verschillende keren dat de minister optreedt als "stelselverantwoordelijke" (bijvoorbeeld op p.36), maar nergens blijkt dat het NA en de RHC's, of beter gezegd de rijksarchivarissen, slechts uitvoerders zijn, en dat de minister van OCW verantwoordelijk is voor de overgebrachte rijksarchieven. Vanuit die positie heeft hij misschien ook wel wat in de melk te brokkelen.

Deskundigheid vloeit weg
Een constatering waar ik het wel helemaal mee eens ben, is dat we de komende decennia nog wel met papieren archieven te maken zullen hebben. Dit betekent dat we dus ook mensen nodig hebben die hiermee uit de voeten kunnen:

Indien aanvullend aandacht vanuit het archiefbeleid achterwege blijft, en de huidige praktijk zich voortzet, dan is het risico zeer groot dat uitvoerende partijen zoals het Nationaal Archief toch proberen om zo goed en kwaad als dat dan kan, uitvoering te geven aan de digitale archiveringstaken. Het zal gepaard gaan met consequenties voor de ‘papieren’ archieftaken (je kunt het geld maar één keer uitgeven). Bovendien is het gevaar denkbaar dat door natuurlijk verloop de deskundigheid en kwaliteit inzake het archiveren van papier verdwijnt.
Het risico is dus aanzienlijk dat de thans voorliggende behoefte vanuit de samenleving richting digitaal werken, al snel consequenties gaat hebben op de kwaliteit van de papieren archieven en het verliezen van specifieke kennis van en over duurzaam archiveren dat met archiefbeheer en –bewaring van papieren informatie is opgebouwd.(p.25)

Een andere waardevolle observatie is dat bij de rijksoverheid de afgelopen jaren een steeds grotere afstand tussen "het archief" en "de uitvoering" is ontstaan. Div-afdelingen werden wegbezuinigd of gingen op in Doc-Direkt, waardoor ze helemaal buiten de archiefvormende organisatie kwamen te liggen. Voor papieren archieven kon dat misschien (al twijfel ik ook daar aan), maar PBLQ HEC constateert terecht dat dit voor digitale archieven heel onwenselijk is. Als je vanaf het ontstaan van informatie het archiefbeheer moet uitvoeren, moet je dus ook nauw betrokken zijn bij die archiefvorming. Dat gaat moeilijker als je extern zit (en ook nog vooral gefocust bent op papieren archieven).

Geadviseerde maatregelen
Er valt nog wel het een en ander over het rapport te zeggen, maar ik laat het hier even bij.
Voor de volledigheid citeer ik hieronder de maatregelen die in het rapport voorgesteld worden integraal.

0. De directeur-generaal Cultuur en Media (OCW) en de directeur-generaal Organisatie en Bedrijfsvoering Rijksdienst (BZK) spreken gezamenlijk uit dat het noodzakelijk is om te komen tot generieke spelregels/afspraken voor informatie- en archiefbeheer, om een correcte behandeling van overheidsinformatie door alle overheidsdiensten (zorgdragers) minder vrijblijvend en meer afrekenbaar te maken.
Beiden spreken af hiertoe gezamenlijk op te trekken en aanvullende afspraken te maken.

1. Het ministerie van OCW neemt het initiatief om op een heel concreet niveau helder te maken wat generiek beleid in het domein van het informatiebeheer (de voorkant van het archiefproces) betekent, wat er van zorgdrager en BZK verwacht wordt, welke impact het heeft op de werkprocessen bij de zorgdragers, en hoe het in lijn gebracht kan worden met reeds aanwezig beleid voor archiefbeheer (de achterkant van het archiefproces) en met andere domeinen van informatiebeheer, zoals informatiebeveiliging en privacy.
De ontwikkeling van dit beleid en daaruit voortvloeiende spelregels/afspraken vindt in nauw overleg met BZK en zorgdragers plaats.
Gedurende de ontwikkeling van de aanvullende spelregels/afspraken zullen pilots worden gehouden om de precieze impact en daarmee de haalbaarheid van het aanvullende beleid mee te wegen.
De resultaten zullen uitmonden in drie (tussen-)producten:
a) het PvE informatie- en archiefbeheer van digitale overheidsinformatie;
b) pakket van maatregelen ter bevordering van de ‘mindshift’ en implementatie van de aanvullende spelregels (generieke gebruiksvriendelijke voorzieningen, innovaties);
c) afspraken over het vervolg (de rijksbrede implementatie en toezicht erop).

2. Gedurende de uitvoering van de werkzaamheden die voortvloeien uit het voorgaande advies, zal duidelijk worden op welke punten politieke verankering nodig is. Bijvoorbeeld voor de wijze waarop sprake zal zijn van de rijksbrede implementatie. In dat geval zullen de minister van OCW en de minister van Wonen en Rijksdienst (BZK) gezamenlijk optrekken.

3. De minister van OCW zorgt ervoor dat het Nationaal Archief voldoende wordt toegerust om (a) te kunnen optreden als centrale bewaarplaats van digitale overheidsinformatie en (b) zorgdragers zo vroeg als mogelijk (in de archiefketen) te kunnen ontzorgen op basis van aanwezige kennis en beschikbare diensten.

En wat zegt de minister wat ze gaat doen?

Naast de middelen die bij Voorjaarsnota 2013 zijn vrijgemaakt voor het maken van een aanvang met de voorzieningen voor de infrastructuur zullen de duurzaamheidseisen en richtlijnen voor het informatiebeheer voor de Rijksdienst in voorschriften worden vastgelegd. Over de implementatie zal het Nationaal Archief met de departementen en andere organen van het Rijk afspraken maken. De afspraken worden onderdeel van de I-Strategie Rijk (o.a. DWR-Archief, de digitale opslagvoorziening voor het Rijk) en worden vastgelegd in het overleg van de Chief Information Officers (CIO’s) van het Rijk. Bij deze afspraken zal ook aan de orde komen hoe extern toezicht en interne verantwoording (control en audit) kunnen bijdragen aan de doelstelling. 

Kijk aan, nieuwe voorschriften en implementaties...
Hoe zei Einstein dat ook alweer:

Insanity: doing the same thing over and over again and expecting different results.

Maar misschien is dat te cynisch.

Gerelateerd
Fusie van het NA en de KB
Een nieuwe selectieaanpak
Daar is hij dan, de #archiefvisie

Plaatje: PA7 70, Lego Crash Test Dummy van Jonathan_W

Weesjes mogen gescand worden

Ruim een jaar nadat ik er hier al over schreef is het zover: het Europees parlement heeft afgelopen donderdag de nieuwe richtlijn over verweesde werken aangenomen.
Verweesde werken zijn "kunstwerken" die onder de Auteurswet vallen en waarvan het Auteursrecht nog niet verstreken is, maar waarvan het ook niet of nauwelijks mogelijk is om de rechthebbenden te achterhalen. Dit maakt het voor "publieke instellingen," bijvoorbeeld bibliotheken, musea en archiefdiensten, lastig om zulke werken te digitaliseren en online beschikbaar te stellen, aangezien de Auteurswet expliciet stelt dat daar vantevoren toestemming van de rechthebbende voor nodig is. Dit verandert met deze richtlijn. Degene die een verweesd werk online wil zetten, moet aantonen dat hij zorgvuldig ("dilligent") naar de rechthebbenden heeft gezocht. Als hij ze niet vindt, mag hij ze online zetten als verweesd werk.

Works granted orphan status would be then be made public, for non-profit purposes only, through digitisation. A work deemed to be "orphan" in any one Member State would then qualify as "orphan" throughout the EU. This would apply to any audiovisual or printed material, including a photograph or an illustration embedded in a book, published or broadcast in any EU country.

Het Europees parlement vond wel dat als de rechthebbende zich later alsnog meldt, deze recht heeft op compensatie. Maar omdat de verweesde werken niet commercieel gebruikt mogen worden, zullen dit geen gigantische bedragen zijn. Enige uitzondering hierop is dat de instellingen wel wat geld mogen verdienen aan het "gebruik" van de verweesde werken, bijvoorbeeld wanneer ze een verweesde tekening op een tas drukken. Maar de opbrengsten mogen alleen gebruikt worden voor de digitalisering en de beschikbaarstelling van verweesde werken aan het publiek.
De volledige tekst die het EP heeft vastgesteld vind je hier vanaf pagina 268 (doc).
Het is nu aan de Europese Raad om de richtlijn te accorderen en daarna moeten de landsregeringen het nog omzetten in wetgeving.

Gerelateerd
Een Europese richtlijn voor auteurswettelijke weesjes

Het Nederlandsch Archievenblad? Dat is science-fiction

Een van de dingen die ik voor de KVAN moet regelen is het laten digitaliseren van de oude jaargangen van het Nederlands Archievenblad. De KB heeft in zijn tijdschriften-project de jaargangen 1892 - 1940 van het Nederlandsch Archievenblad geselecteerd voor digitalisering. Dus de KVAN heeft voorlopig besloten om die jaargangen niet ook nog eens zelf te gaan laten scannen.

Eerder deze week stuurde een van mijn mede-bestuursleden me de link waar bovenstaande schermafdruk vandaan komt en waaruit blijkt dat oude jaargangen van het Nederlandsch Archievenblad al gescand zijn. Het eerste dat opvalt is natuurlijk dat het Archievenblad is gecategoriseerd als Science Fiction & Fantasy. Maar dat is nog niet alles.

Uit het bijschrift blijkt dat Allofebooks scans te koop aanbiedt die door Google gemaakt zijn voor de University van Michigan en daarna zijn geupload naar The Internet Archive. En na enig verder klikken blijkt dat er in The Internet Archive meer oude jaargangen van het Nederlands Archievenblad te vinden zijn! 

En je kunt ze ook nog eens in platte tekst downloaden en embedden:

Dat Google de jaargangen gedigitaliseerd heeft, blijkt ook uit de aanwezige "google fingers":

Nog verwonderlijker dan dit, vind ik de uitgaven die ik bij Amazon tegen kwam:

Voor krap $17,- kun je een "reproductie" van jaargang zeven van het Nederlandsch Archievenblad kopen:

This is a reproduction of a book published before 1923. This book may have occasional imperfections such as missing or blurred pages, poor pictures, errant marks, etc. that were either part of the original artifact, or were introduced by the scanning process. We believe this work is culturally important, and despite the imperfections, have elected to bring it back into print as part of our continuing commitment to the preservation of printed works worldwide. We appreciate your understanding of the imperfections in the preservation process, and hope you enjoy this valuable book.

Deze boeken worden uitgegeven door Nabu Press of BiblioBazaar, beide eigendom van BiblioLabs, dat zich op zijn website omschrijft als:

a hybrid media-technology company based in Charleston, South Carolina. We work with leading information organizations around the world to curate and commercially distribute historical and academic content.

Het is een wonderlijke wereld, want BiblioBazaar gaf in 2009 272.930 boeken uit, bijna evenveel als alle "traditionele" uitgevers bij elkaar!

En een ander onderdeel van BiblioLabs, BiblioLife, maakt allerlei apps voor iPhone en iPad, onder andere in samenwerking met de Britisch Library.

Gerelateerd
Is Google goed voor geschiedenis

100 pagina's gescand voor 1 dollar

Chris Bellekom verwees vanmorgen naar een fascinerende stukje op TechCrunch:

1DollarScan works in the same way as Bookscan: after receiving physical books or other printed material from customers, the company scans the papers, and converts them into PDFs or DVDs. That’s what similar services do, too, but as 1DollarScan’s company name suggests, prices start at just $1 (for ten photos or 100 pages in a book, for example).

Het concept komt uit Japan, hieronder zie je hoe het werkt:  

Interessant, op deze manier krijg je dus je 'eigen' boeken digitaal, inclusief alle annotaties, vlekken en zo die er in zitten.

Opvallend is verder, dat boeken goedkoper zijn dan archiefstukken. Business documents zijn namelijk tien keer zo duur. Grote vraag is natuurlijk wel: hoe zit het met de metadata?

Kwaliteitscontrole, steekproeven en dan?

Een van de aspecten waar zorgdragers bij een machtigingsverzoek om permanent te bewaren archiefbescheiden te mogen vervangen aandacht aan moeten besteden is controle. Hoe zal de organisatie vaststellen dat de reproducties goed genoeg zijn om de plaats van de originelen in te nemen. En iedere keer gaat dit ook weer fout… Het gaat me dan niet om de criteria die gehanteerd worden om vast te stellen of een scan goed (genoeg) is, maar om de methode van controle.
In heel veel handboeken of digitaliseringsplannen komen zinnen voor als:

De norm bij deze controle is bepaald op 96%. We accepteren dat per dag 8 documenten (4%) niet goed gescand zijn en opnieuw gescand moeten worden.

Los van het feit dat hier relatieve en absolute aantallen door elkaar gebruikt wordt, is de vraag natuurlijk: wat gebeurt er als er een negende fout gevonden wordt? En hoe wordt vastgesteld dat niet meer dan 4% van de registraties fout zijn, hoeveel documenten worden gecontroleerd om dit vast te stellen?
Het Stadsarchief Amsterdam schrijft in zijn verder uitstekende Aanbevelingen voor digitalisering van tekstdocumenten ten behoeve van het concern Amsterdam (pdf):

Het is daarbij zinvol om de controleprocedure op papier te zetten en voor de verschillende kwaliteitseisen foutmarges te hanteren.

Op deze zin volgt een uitgebreide en gedetailleerde beschrijving van de manier waarop allerlei aspecten gecontroleerd zouden kunnen worden. Maar het vaststellen van de "foutmarges" wordt niet nader toegelicht.
In de richtlijnen van het Geheugen van Nederland staat onder 2.1 Steekproef:

Van een batch wordt 10% getest. Als meer dan 1% van de batch niet voldoet aan de normen (op basis van de onderstaande kwaliteitseisen), dan wordt de batch teruggezonden. De batch wordt dan in het geheel nagelopen en waar nodig verbeterd. Als minder dan 1% van de batch fouten vertoont, worden alleen de foute afbeeldingen teruggezonden en verbeterd. Als de batch terugkeert zal opnieuw een controle worden uitgevoerd. Gaat het om 10.000 stuks dan worden er 1000 bekeken. De 10.000 voorwerpen worden in 10 batches van 1000 verdeeld. Uit elke batch worden er 100 bekeken. Gaat het om de eerste batch dan wordt afbeelding 50 tot 150 bekeken.

Dat ziet er al iets beter uit, maar in dit voorbeeld wordt er dus van uit gegaan dat ongeacht het aantal te controleren eenheden het controleren van 10% daarvan goed genoeg is. (De richtlijnen worden momenteel aangepast, dus misschien is dit in de nieuwe versie ook wel veranderd.)

Nog een laatste voorbeeld:

Naam proces	Beoordelen ingekomen (analoge) post
Controlecriteria (+ normering)	Keuze juiste DSP-proces (98% juist)
Uitvoering controle	Maandelijks representatieve steekproef van minimaal één procent van de ingekomen documenten

Het probleem hierbij is dat de absolute aantallen waar het om gaat, te klein zijn. De verwachting is dat er in totaal ongeveer 5.000 documenten per maand geregistreerd worden. Dat betekent dus dat er 50 documenten gecontroleerd worden en dat er maar één registratie fout mag zijn.

Hoe zou het dan wel moeten? Daar is een norm voor!
Om te beginnen dit: 100% controle heeft weinig tot geen zin en geeft alleen de schijn van volmaaktheid. Je weet namelijk nooit hoeveel fouten bij het controleren gemaakt worden.
Om dit tegen te gaan heeft het Amerikaanse leger in 1950 een statistische methode ontwikkeld: Acceptable Quality Level. Hier vind je de ‘originele’ norm (pdf).
Hoewel ik geen statisticus ben (verre van dat zelfs), ga ik hieronder toch proberen die AQL-methode uit te leggen, in de hoop dat er in de toekomst wat beter gekeken wordt naar de toepassing van steekproeven om onder andere scan-opdrachten te controleren.

AQL
De opzet van de kwaliteitscontrole is afhankelijk van verschillende factoren:

1. Geaccepteerd Kwaliteitsniveau
2. Bestandsomvang
3. Controleniveau
4. Goed- en afkeuren
5. Steekproefplan

Geaccepteerd Kwaliteitsniveau
Dit is het laagste kwaliteitsniveau dat gemiddeld genomen geaccepteerd wordt. Bijvoorbeeld: in 1% van de aangeleverde documenten mogen fouten zitten. (Dit betekent overigens NIET dat de leverancier bewust ‘foute’ documenten mag aanleveren.)

Controleniveaus
De norm onderscheidt drie verschillende controleniveaus: I, II en III. Hierbij is II het standaard controleniveau. I is voor het versoepelde controleniveau en III geldt voor verscherpte controles.
Het idee achter het systeem is dat een leverancier ‘krediet’ kan opbouwen, waardoor de afnemer minder strikt kan of juist strikter moet gaan controleren. Meestal wordt hierbij van het volgende uitgegaan:

• Start: controleniveau II
• Van normale naar verscherpte controle: Wanneer 2 van 5 opeenvolgende batches worden afgekeurd.
• Van verscherpte naar normale controle: Wanneer 5 opeenvolgende batches zijn goedgekeurd.
• Van normale neer versoepelde controle: Wanneer
• de 10 voorgaande batches zijn goedgekeurd EN
• het totaal aantal fouten uit de voorgaande 10 batches kleiner is dan het van toepassing zijnde aantal uit tabel VIII uit de norm
• Van versoepelde naar normale controle: Wanneer een batch wordt afgekeurd.

Er worden ook nog drie "speciale" controleniveaus beschreven, maar die zijn voor nu even niet relevant.

Bestandsomvang / batch
Dit is het totale aantal geproduceerde / geleverde items waarvan de kwaliteit vastgesteld moet worden. Meestal zal van iedere batch die geleverd wordt, een bepaalde kwaliteit geëist worden.
Bijvoorbeeld: Een leverancier levert één keer in de week circa 5.000 gescande documenten. In de norm wordt aan iedere bestandsomvang een aparte letter toegekend. In het schema hieronder staan de kenletters voor de drie normale controleniveaus en de drie speciale niveaus:

Bij een batchomvang van 5000 items, hoort dus kenletter L voor het normale "start-controleniveau".
Aan de hand van de kenletter kan dan in onderstaande tabel de steekproefomvang vastgesteld worden.

Bij kenletter L hoort een steekproef omvang van 200 items. Van de 5000 aangeleverde bestanden moeten dus 200 willekeurige bestanden gecontroleerd worden.

Goedkeuren of afkeuren
Een batch wordt goed gekeurd als het aantal fouten kleiner is dan het maximaal toegestane aantal fouten uit Tabel 2. De geconstateerde fouten dienen overigens wel gecorrigeerd te worden door de leverancier.
Wanneer het aantal fouten de maximumwaarde overschrijdt, wordt de hele batch afgekeurd en moet de leverancier deze helemaal opnieuw aanleveren. De batch wordt dan opnieuw, op dezelfde manier gecontroleerd.
Als je van een geaccepteerd kwaliteitsniveau van 1% uitgaat,dat in dit voorbeeld dat er van de 200 items maximaal vijf fout mogen zijn. Zodra de zesde fout geconstateerd wordt, wordt de hele batch afgekeurd.

Kwaliteit van de batch
Bij het vaststellen van een controleprotocol moet altijd de vraag zijn: hoeveel fouten accepteer ik? Maar, de vraag is ook: Hoe groot is de kans dat ik met mijn controleprotocol te veel foute items "doorlaat"? Dit is  met behulp van de "Operating Characteristics" uit de norm vast te stellen.
In het voorbeeld hierboven ging ik uit van een batchomvang conform Kenletter L en een (gemiddeld) geaccepteerd kwaliteitsniveau van 1%. Maar hoe groot is nu de kans dat een batch met 3% fouten ten onrechte wordt goedkeurd?

Om dat vast te stellen zoek je in bovenstaande grafiek (ik heb er helaas geen van een betere kwaliteit kunnen vinden) op de x-as naar 3%. Daarna ga je naar boven tot je aan de lijn voor 1% komt en lees je op de Y-as de erbij horende waarde af: 45%. Dit betekent dat in 45% van de gevallen een batch met 3% fouten ten onrechte goedgekeurd zal worden. Vind je dit te veel, dan zul je dus een hoger geaccepteerd kwaliteitsniveau moeten afspreken, bijvoorbeeld 0,65, waardoor een batch met 3% fouten slechts in 15% van de gevallen goedgekeurd wordt. Een ander alternatief is kiezen voor een "strenger" controleniveau kiezen, bijvoorbeeld III, waar  kenletter M bij hoort. In dat geval wordt een batch met 3% fouten in ongeveer 25% van de gevallen ten onrechte goedgekeurd.

Steekproeven ja, maar wel goed
Het nemen van steekproeven kan een goede manier zijn om de gemiddelde kwaliteit van scans te controleren. Maar dan moet je niet 'zo maar' een steekproef nemen en 'zo maar' een foutenmarge kiezen. Met behulp van de AQL is het mogelijk om een weloverwogen steekproef te nemen die ook iets zinnigs zegt over de kwaliteit van de hele batch. En hoewel het in eerste instantie ingewikkeld lijkt, hoop ik dat hiermee duidelijk geworden is, dat dat reuze meevalt.

Afbeeldingen
Quality Street van Nataliej
Table I
Table II

Metadata, digitalisering en Google Books

Ik weet niet meer hoe ik er op kwam, maar dit is een interessant interview met Geoffrey Nunberg: The trouble with Google Books. Nunberg is een hoogleraar Taalkunde aan Berkely en is een van de mensen die kritisch kijkt naar de resultaten van Google Books. Hij is er niet tegen - I love Google Books. It's an amazing resource for scholars - hij vindt alleen dat het niet goed genoeg is.

I don't think they [Google, IKo] knew what they were getting into, though. Of course, if they hadn't been insensitive to the subtleties of the task, maybe they wouldn't have taken it on. A friend who's worked there told me that it's a culture that awards innovation, even if it's something relatively useless, like a map function that shows you all the place-names mentioned in a book. You get less credit at Google for making sure that old things continue to work well.

Zijn kritiek richt zich onder andere op de zeer gebrekkige metadata die aan boeken worden toegevoegd. Henry James die als auteur van Madama Bovary staat vermeld, Moby Dick dat is geclasseerd onder "Computers" en boeken die voor 1950 zouden zijn gepubliceerd, maar waar het woord "internet" in voorkomt. Dat soort dingen.
Bijna tussen neus en lippen door legt hij heel helder uit wat metadata zijn en dat een boek meer is dan een platte tekst die je kunt OCR-en en daarna doorzoeken. Titel, uitgever, verschijningsdatum, druk zijn allemaal onlosmakelijk verbonden met de 'betekenis' van een boek. Aangezien Google bijna alleen uitgaat van "full text search" hebben ze daar geen rekening mee gehouden.

People at Google are also saying, "Let's crowdsource this," but that is a stupid idea. You and I are both smart, knowledgeable people, but I wouldn't trust either of us to do the skilled work of cataloging a 1890 edition of "Madame Bovary." It's very difficult. It has to be coordinated by uniform standards. (...) And metadata is hard to fix if you don't get it right in the first place. Someone has to spend a lot of money to properly catalog a research library, and I don't know if Google understood that going into it.

Als antwoord op de tegenwerping dat de bestaande boeken toch blijven bestaan en dat er dus ook niets verloren gaat, als de digitalisering het niet goed gedaan is zegt hij:

Because if this really is the "last library," as I put it, and no one is going to go back and do all this scanning again, which I think we can all agree is probably the case, then it's really important that it be done right. And it's going to cost a lot of money to do it. A disproportionate percentage of the resources have to go to a relative small percentage of users. That's what a research library is all about. That is the nature of scholarship.

Gerelateerd:
Is Google goed voor geschiedenis?
De KB-Google-deal

Gedrukt leest sneller

Vorige week publiceerde The Guardian over een onderzoek onder 24 (!) mensen naar hun leesvoorkeur. Ze lazen allemaal een kort verhaal van Hemmingway op papier, iPad, Kindle en PC.

While on average the stories took 17 minutes and 20 seconds to read, the Kindle experience was 10.7% slower than print, and the iPad was 6.2% slower.

The readers were also asked to rate their satisfaction of the four experiences on a one-to-seven scale: the iPad was top at 5.8, followed by the Kindle at 5.7 and the printed book at 5.6. The PC came in last, with "an abysmal 3.6". (The Guardian)

Voor wat het waard is natuurlijk, want 24 mensen lijkt me nou niet echt een substantiële hoeveelheid proefpersonen.

Plaatje: Reading Man Detail, George F. Fishman's 1991 Mosaic Faces Of Flower Avenue  (Silver Spring, MD)

Is Google goed voor Geschiedenis?

Gisteren verwees ik kort naar een bericht op de website van de American Historical Association uit 2007 waarin Robert B. Townsend klaagt over de matige kwaliteitscontrole van Google bij het digitaliseren van boeken.

The problems I encountered fit into three broad categories: (1) the quality of the scans is decidedly mixed; (2) the information about the books (the "metadata" in infospeak) is often inaccurate; and (3) the public domain is narrowly and erroneously construed, sadly restricting access to materials that should be freely available.

Is Google good for history? vraagt Townsend en zijn antwoord is eigenlijk Nee.

Begin dit jaar schreef Dan Cohen onder diezelfde titel ook een blogpost en zijn antwoord is "Of course it is." Op zich is dat een verrassend antwoord, aangezien Cohen een van de eersten was die de "Google Fingers" op het plaatje hierboven liet zien.
Maar, zegt Cohen:

Indeed, we should recognize that at its heart, Google Books is the outcome, like so many things at Google, of a engineering challenge and a series of mathematical problems: How can you scan tens of million books in a decade? It’s easy to say they should do a better job and get all the details right, but if you do the calculations (...) you’ll probably see that getting a nearly perfect library scanning project would take a hundred years rather than ten.

Google is goed voor historici, omdat, ondanks alle tekortkomingen, een oceaan aan boeken eenvoudig toegankelijk wordt voor heel veel onderzoekers. Daarnaast zorgt de volledige doorzoekbaarheid van grote aantallen boeken ervoor dat onderzoekers op een nieuwe, meer kwantitatieve manier onderzoek kunnen doen.

Maar Cohen heeft ook kritiek, die ik interessanter vind dan gezeur over scanfouten. Voor het gemaak wat citaten:

In short, complaining about the quality of Google’s scans distracts us from a much larger problem with Google Books. The real problem — especially for those in the digital humanities but increasingly for many others — is that Google Books is only open in the read-a-book-in-my-pajamas way. To be sure, you can download PDFs of many public domain books. But they make it difficult to download the OCRed text from multiple public domain books – what you would need for more sophisticated historical research.

I would like to see (...) greater availability of what Cliff Lynch has called “computational access” to Google Books, a higher level of access that is less about reading a page image on your computer than applying digital tools to many pages or books at one time to create new knowledge and understanding.

In hoeverre zouden de KB of Europeana hier aan tegemoet kunnen komen? Of maken de details van de deal met Google dit onmogelijk?

I would much rather have historians and Google to work together. While Google as a research tool challenges our traditional historical methods, historians may very well have the ability to challenge and make better what Google does. Historical and humanistic questions are often at the high end of complexity among the engineering challenges Google faces, similar to and even beyond, for instance, machine translation, and Google engineers might learn a great deal from our scholarly practice. Google’s algorithms have been optimized over the last decade to search through the hyperlinked documents of the Web. But those same algorithms falter when faced with the odd challenges of change over centuries and the alienness of the past and old books and documents that historians examine daily.

De ultieme vraag zou volgens Cohen dus niet moeten zijn of Google goed is voor historici, maar of historici goed zijn voor Google. En hij beantwoordt beide volmondig met Ja.

De KB-Google-deal

Gisteren maakte de KB bekend dat ze een overeenkomst gesloten hebben met Google voor het scannen van minstens 160.000 Nederlandse boeken uit de 18e en 19e eeuw. De reproducties zullen te zijner tijd beschikbaar gesteld worden via Google Books, de KB-sites en Europeana.
Wat opvalt, is dat de KB het scannen dus toch gaat uitbesteden. Op 12 januari van dit jaar zei Hans Jansen (directeur e-strategie van de KB) nog in de NRC:

De KB wil nu alle Nederlandse boeken digitaliseren. Bovendien gaat de bibliotheek ze zelf scannen. Wij hebben vorig jaar bij ons een zogenoemde scanstraat ingericht. Met enkele duizenden boeken van De Slegte hebben we onderzocht wat de goedkoopste en efficiëntste manier is om op grote schaal te scannen.
Uitkomst van het onderzoek: als je van een boek de rug verwijdert en je legt de losse pagina's in een bulkscanner, dan kost een gemiddeld boek tussen de vier en vijf euro. Jansen: Dat gaan we natuurlijk alleen doen met boeken die in grote oplagen zijn gedrukt en waarvan bij bibliotheken meerdere exemplaren in de kast staan. We gaan vanzelfsprekend geen unieke exemplaren of boeken met een bijzonder waarde versnijden.

Blijkbaar heeft Google een aanbod gedaan dat de KB niet kon weigeren...
Overigens staat in het persbericht ook expliciet dat de boeken na scanning weer het depot in gaan en in de leeszaal beschikbaar zullen worden gesteld.
Ik vraag me af trouwens of hier nog ophef over gaat ontstaan. Niet zo zeer van auteurs, want het gaat om publicaties waar geen auteursrecht (meer) op berust. Eerder van mensen die vinden dat de kwaliteit van de reproducties van Google niet goed genoeg is. Zo stelden Cees Klapwijk en René Stipriaan in de NRC van drie december 2007 dat het onmogelijk is dat het scannen van een boek niet meer dan 10 à 12 euro zou hoeven kosten en rekenden zij voor dat een OCR-accuratesse van 98% betekent dat in iedere zin één woord zit dat fout herkend is.
Eerder klaagden in Amerika de historici ook al over de metadata die door Google aan de reproducties werden toegevoegd.

Zouden al deze tekortkomingen ondertussen zijn verholpen?