tag:blogger.com,1999:blog-5677792654376093930.post5150881848426426192..comments2024-03-25T08:45:28.138+01:00Comments on Ingmar bladert en schrijft: Kwaliteitscontrole, steekproeven en dan?Ingmariohttp://www.blogger.com/profile/10415998427861329479noreply@blogger.comBlogger22125tag:blogger.com,1999:blog-5677792654376093930.post-71503518024558155832012-11-05T16:20:03.864+01:002012-11-05T16:20:03.864+01:00Eindelijk toe gekomen om er zelf een blogje over t...Eindelijk toe gekomen om er zelf een blogje over te schrijven: http://chido-advies.blogspot.nl/2012/11/archiefje-digitaliseren-over-aql.htmlCHIDOhttps://www.blogger.com/profile/16535206906121202644noreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-60469846812586381562011-09-25T20:29:01.114+02:002011-09-25T20:29:01.114+02:00Ingmar en Chido,
Ik heb al eeerder aangehaald dat...Ingmar en Chido,<br /><br />Ik heb al eeerder aangehaald dat BCT op mijn aandringen bezig was een kwaliteitsmodule te ontwikkelen voor het kunnen meten van fouten tijdens of na scanjobs. Zeer recent heb ik een demonstratie gehad van BCT van de betreffende kwaliteitsmodule. Deze is geheel ontwikkeld op basis van de ISO 2859 norm. inclusief de tabellen die daaronder vallen ten aanzien van de bepaling van de te meten hoeveelheden. <br /><br />In mijn bescheiden optiek is dit een zeer bruikbare module geworden die het zijn gebruikers op heel eenvoudige wijze mogelijk maakt een gedegen kwaliteitsborgingsmethodiek toe te passen en de resultaten daarvan ook vast te leggen. <br /><br />De module zal als zelfstandige softwaretool ook ingezet kunnen worden voor toepassingen anders dan Corsa.<br /><br />Voorzover ik weet is dit de eerste keer dat een bruikbare tool kan worden ingezet specifiek in het segment van document digitalisering.<br /><br />Is het wellicht een idee om een meeting te organiseren waar een groter aantal deskundigen met elkaar de module kunnen beoordelen en te bespreken in hoeverre dit een antwoord geeft op de in deze discussie gestelde vragen. <br /><br />Ik denk dat we met deze software heel ver zullen kunnen komen.<br /><br />met vriendelijke groet<br />Leon van Oosterom, Elveo b.v.Oosteromnoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-60110779218437527772011-09-25T16:59:59.370+02:002011-09-25T16:59:59.370+02:00Ik denk dat deze methode inderdaad niet zo ver gaa...Ik denk dat deze methode inderdaad niet zo ver gaat en dat het bij het beantwoorden van jouw vraag inderdaad, zoals ik eerder al twitterde, op risico-management aankomt. En dat lijkt, vind ik, vaak op natte vingerwerk. <br />Waar het mij bij het schrijven van de tekst hierboven om ging, was dat ik bij heel veel digitaliserings- en vervangingsvoorstellen wel lees dat de foutenmarge x%, maar dat er daarna niet afdoende wordt aangetoond of die x ook wel enigszins gehaald wordt. Hierbij ging ik er dus vanuit dat van te voren al was bedacht dat x acceptabel zou zijn. Bij jouw vraag zou je moeten "uitrekenen" wat het risico is dat je loopt, bij het fout of niet gescand zijn van een document. Dat is heel lastig, zeker als je uit gaat van "erfgoed" aangezien dat "waardeloos" is. Waardeloos in de zin: als het weg is, kun je er niets anders voor in de plaats stellen, dus kun je die kosten ook niet kwantificeren. (Het is een beetje te vergelijken met delen door nul, heb ik wel eens het idee.)Wat je wel zou kunnen doen, is andersom rekenen. Dat je dus uitgaat van de maximale kosten die je bereid bent te maken bij vervanging (en controle-werkzaamheden) en dan uitrekent hoe groot het risico op fouten dan wordt. Als dit betekent dat de kans groot is dat iedere tiende pagina fout is, zou dat ook kunnen betekenen dat je dus niet wil vervangen.<br />Ik denk er nog wat over na, misschien kunnen we wel een methode uitdenken?Ingmar Kochhttp://ingmarbladertenschrijft.blogspot.comnoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-90049331897212570232011-09-23T22:12:36.113+02:002011-09-23T22:12:36.113+02:00Ingmar,
Ik heb AQL, op verzoek van een opdrachtgev...Ingmar,<br />Ik heb AQL, op verzoek van een opdrachtgever, voor een bepaalde digitaliseringssituatie uitgewerkt en nou loop ik tegen het volgende aan tav de Operating Characteristics:<br />Wat is een acceptabel percentage voor batches die ten onrechte goedgekeurd worden?<br />Ik kom daar niet uit en ik heb het idee dat de norm ook niet zo ver gaat. Je kan wel uitrekenen hoe hoog het percentage is, maar niet hoe je bepaalt wat een acceptabel percentage is. Het lijkt er op dat dat toch weer natte-vinger-werk en persoonlijke voorkeur is.<br /><br />Eigenlijk is het een voortzetting van de reden om AQL te gebruiken: een logisch-rationele methode om kwaliteit te bepalen. Maar dan op detail-niveau. Een soort Droste-effect.<br /><br />Zie ik iets over het hoofd? Is er een aanvullende methode?CHIDOhttp://twitter.com/adviesCHnoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-27645190137266444742011-08-29T20:35:18.179+02:002011-08-29T20:35:18.179+02:00*Schaamrood* Je hebt natuurlijk helemaal gelijk: 1...*Schaamrood* Je hebt natuurlijk helemaal gelijk: 1% van 5.000 is 50...Ingmar Kochhttp://ingmarbladertenschrijft.blogspot.comnoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-76060834510442525722011-08-29T17:33:14.992+02:002011-08-29T17:33:14.992+02:00Dag Ingmar! Dank voor je snelle reactie. Ik moet e...Dag Ingmar! Dank voor je snelle reactie. Ik moet er eens heel erg op gaan broeden, temeer, omdat volgens mij 1% van 5.000 vijftig is, en niet vijf, maar dat is vermoedelijk óók toeval. Ik zal eens kijken of ik een statisticus ergens in vrienden- of familiekring heb. Als ik er toevallig uit zou komen, laat ik het zeker weten.<br />Groetjes,<br /><br />MariëtteMariëttehttp://www.hetutrechtsarchief.nlnoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-10600336669900886312011-08-29T15:55:05.332+02:002011-08-29T15:55:05.332+02:00Hallo Mariëtte, dank je voor je vraag (ik zie nu o...Hallo Mariëtte, dank je voor je vraag (ik zie nu ook dat de zin waar je naar verwijst een persoonsvorm mist...)<br />Die 200 is de omvang van de steekproef, niet de omvang van de hele te controleren batch. In dit voorbeeld was de omvang van de te controleren batch 5.000 stuks. Een representatieve steekproef daaruit is dan 200 items. En van die 200 items mogen er maximaal 5 fout zijn. <br />Merk hierbij op dat die 5 min of meer toevallig 1% van 5.000 is. Als de hele te controleren batch 4.000 of 7.000 items was, zouden de steekproefomvang en het maximale foutenaantal even groot zijn (respectievelijk 200 en 5). <br />Dit heeft aan de ene kant te maken met het begrip representativiteit, die blijkbaar een soort "gemiddelde" is. Aan de andere kant heeft het te maken met afrondingsverschillen. Je kunt geen half item afkeuren.<br />Ik hoop dat ik dit wonder nu een beetje voor je verklaard heb...Ingmar Kochhttp://ingmarbladertenschrijft.blogspot.comnoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-36904659506225818332011-08-29T15:02:51.315+02:002011-08-29T15:02:51.315+02:00
Ik vind het fantastisch. Als archivaris ben ik ... <br /> Ik vind het fantastisch. Als archivaris ben ik heel erg vóór het inzetten van vakgebieden die ons van oudsher vreemd zijn. Waarop we een totale leek zijn zelfs. Hoe totaal, zal misschien wel blijken uit mijn vraag. Ik blijf hangen aan de volgende zin:<br />Als je van een geaccepteerd kwaliteitsniveau [ik neem aan: foutenpercentage] van 1% uitgaat, [...] dat er van de 200 items maximaal vijf fout mogen zijn. <br />Bij mij is 1% van 200 nog altijd twee, en niet vijf. Waarom zegt kaart II dat ik er desalniettemin vijf fout mag hebben? Kan iemand dit statistisch wonder voor mij verduidelijken?<br />Hartelijke groet,<br />Mariëtte Rommers<br />Vakspecialist (ook dat nog) Digitalisering Het Utrechts ArchiefMariëttehttp://www.hetutrechtsarchief.nlnoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-56321558283040738792011-08-26T11:22:33.647+02:002011-08-26T11:22:33.647+02:00Overigens, e-depot-monitor-programma, dat klinkt o...Overigens, e-depot-monitor-programma, dat klinkt ook interessant. Misschien kun je dat - via een ander <a href="mailto:ingmariokoch@gmail.com" rel="nofollow">medium</a> - eens nader toelichten?Ingmar Kochhttp://ingmarbladertenschrijft.blogspot.comnoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-18008592615730825942011-08-26T11:20:54.648+02:002011-08-26T11:20:54.648+02:00Beste Alfred,
hartelijk bedankt voor deze "t...Beste Alfred, <br />hartelijk bedankt voor deze "terug naar de kern" reactie. <br />Die link ga ik binnenkort eens nader bestuderen. Ingmar Kochhttp://ingmarbladertenschrijft.blogspot.comnoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-8954997695058645352010-12-07T14:06:56.999+01:002010-12-07T14:06:56.999+01:00"Jouw" systeem gaat uit van relevantie e..."Jouw" systeem gaat uit van relevantie en fouttolerantie. Impliciet wordt er per definitie gewerkt met een vaste verhouding tussen de grootte van de geproduceerde hoeveelheden en de grootte van de te nemen steekproef. Het is andersom benaderd, maar uiteindelijk zou je dit ook in percentages kunnen aangeven zonder het systeem geweld aan te doen. <br /><br />Hoe dan ook, ik stel de aantallen in de tabellen ook niet ter discussie, althans niet zonder deze methodiek in de praktijk getest te hebben. Mij ging het er vooral om dat er differentiatie wordt aangebracht op de waarnemingen. Niet alleen om daardoor een betere en meer afgewogen goed- of afkeuring te verkrijgen, maar ook om op basis van trends het algemene kwaliteitsniveau te kunnen beoordelen en daarna te beïnvloeden. Immers als steevast uit controles blijkt dat pagina's na scanning vaak meer dan 2 graden afwijken kan dit een indicatie zijn dat de gebruikte scanner onderhoud behoeft aan het doorvoersysteem.Leon13noreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-11046257788734795592010-12-07T13:37:21.237+01:002010-12-07T13:37:21.237+01:00Maar 'mijn' systeem gaat (op het oog) just...Maar 'mijn' systeem gaat (op het oog) just niet uit van percentages. Als je 30 items (niveau II, codeletter D) wil controleren, kun je volstaan met een steekproef van 8 items = 27%.<br />Als je 30.000 items moet controleren (niveau II, codeletter M) moet je 315 items controleren = 1%ingmarionoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-69207800541875346662010-12-07T13:18:23.888+01:002010-12-07T13:18:23.888+01:00Ingmar, het criterium zal aantallen zijn, Bij een ...Ingmar, het criterium zal aantallen zijn, Bij een dagproductie van 30 documenten scannen op een kleine DIV afdeling is het overdreven een specifiek controlesysteem op te zetten, rekening houdend met een vast percentage, je zult daar in meeste gevallen een één op één controle houden. <br /><br />Bij grotere aantallen echter is het van groot belang om te weten wat je meet en ook moet kunnen aangeven hoe relevant een steekproef is. dat kan alleen met percentages, want die zijn meetbaar en in een systeem vast te leggen.<br /><br />Wat ik zo mooi vind aan het systeem in jouw blog is vervolgens dat je het percentage kan laten afhangen en kunt aanpassen aan het controleniveau dat van belang wordt geacht. Oftewel er wordt dan ook nog rekening gehouden met de staat van dienst van de uitvoerder (ongeacht of dat nu een externe partij is of niet) en er kan rekening gehouden worden met het belang van de gescande informatie voor de organisatie.Leon13noreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-53336023403526536872010-12-07T12:16:12.309+01:002010-12-07T12:16:12.309+01:00@Max Hoewel ik mijn stukje begin met een verwijzin...@Max Hoewel ik mijn stukje begin met een verwijzing naar de machtiging vervanging, was het niet mijn bedoeling om enkel daar iets over te zeggen. Het gaat mij ook niet per sé om het beperken van het aantal fouten. Mijn punt is algemener: als je iets aanschaft en je eist van de leverancier dat hij een bepaalde kwaliteit levert, hoe verifieer ik dan of de geleverde kwaliteit aan de eisen voldoet?<br />Dat geldt voor het scannen van akten van de burgerlijke stand, het digitaliseren van foto's, maar misschien ook wel voor het ordenen van documenten en dossiers.<br />Ik zie nu gebeuren dat er voor veel geld opdracht gegeven wordt om bijvoorbeeld kranten te laten digitaliseren, zonder dat ook maar geprobeerd wordt om vast te stellen of de leverancier zijn werk goed (genoeg) doet. "Ach ze zijn daar zo deskundig, dat gaat wel goed...")<br />Het gaat dus niet om het poetsen van stuivers, maar meer om bewust omgaan met de beperkte hoeveelheid beschikbare stuivers en goed opdrachtgeverschap.ingmarionoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-27559381959654250092010-12-07T12:09:28.675+01:002010-12-07T12:09:28.675+01:00Leon, zie ik het nu goed dat de steekproefomvang t...Leon, zie ik het nu goed dat de steekproefomvang toch een vast percentage van de te controleren omvang is (eerst 2%, daarna 5%)?ingmarionoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-66245399339187841512010-12-06T16:17:54.800+01:002010-12-06T16:17:54.800+01:00Ingmar, sympathie voor je poging om de wereld van ...Ingmar, sympathie voor je poging om de wereld van cijfers en kansen te doorgronden, ook wel eens met je geformuleerde kritiek op foutenmarges e.d. Maar toch een ? bij de aangedragen oplossing. Is het niet verstandiger de foutenmarge los te laten op het aantal gedigitaliseerde archieven i.p.v. de margediscussie te openen in gedigitaliseerde archieven. Ik heb toch het gevoel dat we dan stuivers aan het poetsen zijn, terwijl we in deze overgangsperiode van analoog naar digitaal het aantal incidenten willen reduceren. Daar past een overall aanpak beter dan een kurketrekker methode. Dan is vervolgens de vraag meten we per archiefbewaarplaats of landelijk of kleinere eenheden? Kom je al snel op de berusting: "het is goed dat we kijken naar marges, maar wat lost het op en wie dienen we er mee?". Dus wellicht moeten we vooraf vaststellen dat 50% van wat goed had moeten zijn fout zal zijn. Zolang we maar niet formuleren wat 100% is de 50% de 100% en doen we alles goed (of fout als je deze redenering aanhangt) waamee maar weer bewezen is dat er sprake is van een aflopende reeks van betrouwbaarheid bij: rechters, misdadigers en ....rekenmeesters.<br />Groeten MaxMax Beekhuisnoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-60047385923968168972010-12-06T16:05:08.087+01:002010-12-06T16:05:08.087+01:00Als je gaat organiseren Robert, ben ik daar graag ...Als je gaat organiseren Robert, ben ik daar graag bij :)Leonnoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-9031765794082758902010-12-06T15:45:28.755+01:002010-12-06T15:45:28.755+01:00Leon en Robert vragen zich alletwee af of je een o...Leon en Robert vragen zich alletwee af of je een onderscheid zou moeten maken tussen lichte en zware fouten. Op dit moment heb ik een Handboek Vervanging onderhanden waar dit al in gebeurt. Daarin worden voor verschillende typen fouten, ook verschillende kwaliteitsniveaus gehanteerd: de keuze tussen wel/niet registreren mag in 5% van de gevallen fout gaan, terwijl de keuze tussen bestaande of nieuwe zaak maar in 2% van de gevallen fout mag gaan. <br />(Ze hanteren nog niet AQL, maar het was wel de aanleiding om dit stukje nu maar eens online te zetten.)<br />Zoals ik hun werkwijze interpreteer testen ze op ieder criterium apart en gooien ze dat niet op één hoop. Dit betekent dus veel werk (en misschien wel verschillende steekproeven nemen uit dezelfde batch), maar ik weet niet hoe ze dit gaan organiseren.<br />Ik weet ook niet hoe je dit het handigste kunt organiseren...ingmarionoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-834462762173172932010-12-06T15:39:02.504+01:002010-12-06T15:39:02.504+01:00Dank je wel Robert. Zo'n studiemiddag lijkt me...Dank je wel Robert. Zo'n studiemiddag lijkt me wel zinvol en interessant.ingmarionoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-92196759227019746812010-12-06T13:36:05.403+01:002010-12-06T13:36:05.403+01:00Goed verhaal dit! Schandelijk genoeg ken ik deze m...Goed verhaal dit! Schandelijk genoeg ken ik deze methode niet. <br /><br />Leon heeft een punt: de ene fout, is de andere niet. Dat is precies het meest lastige punt van kwaliteitscontrole: want wat zijn nu daadwerkelijk de kritische fouten? En: wil je een dergelijk onderscheid tussen kritische en minder kritische fouten in je methode meenemen dan heb je de kans dat je kwaliteitscontrole procedure een bureaucratisch monstrum wordt. Hoe dit te voorkomen?<br /><br />Het zou geen kwaad kunnen over dit onderwerp eens iets te organiseren - een studiemiddag? Misschien juist met mensen van buiten de "sector".Robert Gillessenoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-32952507552720874732010-12-06T12:39:16.312+01:002010-12-06T12:39:16.312+01:00Leon,
Die 1% is een willekeurig voorbeeld en is ni...Leon,<br />Die 1% is een willekeurig voorbeeld en is niet het geaccepteerd percentage dat de Archiefinspectie hanteert bij vervangingsaanvragen. <br />Het klinkt flauw, maar wij zijn niet degene die last hebben van een hoog geaccepteerd foutenpercentage. Mede daarom hebben wij geen minimale norm geformuleerd in de Beleidsregel en zullen dat ook niet doen, denk ik. Uitgangspunt is dat degene die vervangt aangeeft wat hij als minimale kwaliteit accepteert en beargumenteert hoe hij denkt die kwaliteit te realiseren. Ik kan me wel voorstellen dat we in de beleidsregel een verwijzing naar de AQL gaan opnemen als "steekproef-methode" maar ook dan geldt: als je het anders doet en je kunt aantonen dat het resultaat gelijkis, dan mag dat ook.ingmarionoreply@blogger.comtag:blogger.com,1999:blog-5677792654376093930.post-40405982717713392802010-12-06T11:15:46.558+01:002010-12-06T11:15:46.558+01:00Ingmar,
Een buitengemeen goed en vooral bruikbaar...Ingmar,<br /><br />Een buitengemeen goed en vooral bruikbaar stuk. De enige vraag die bij mij opkomt bij het lezen is wat er bij een machtigingsaanvraag nou een geaccepteerd percentage is. Uit jouw stuk lijkt het een beetje alsof 1% een acceptabel niveau is. Dat is misschien ook wel waar wanneer je alle mogelijke fouten bij elkaar optelt, dus kritische en non kritische fouten!<br /><br />Waar ik voor zou pleiten is een tweedeling waarbij onderscheid wordt gemaakt tussen kritische fouten (een document is na conversie niet of niet geheel meer leesbaar) en non kritische fouten, bijvoorbeeld niet alle metadata is correct ingevuld of de gescande image staat eigenlijk een beetje te scheef maar is nog wel geheel leesbaar.<br /><br />In mijn optiek zou je voor kritische fouten strenger moeten zijn, bijvoorbeeld 3 promille en voor non-kritische fouten ruimhartiger, bijvoorbeeld 3 tot 5 %Leonnoreply@blogger.com