Acxiom weet wat je wil - Lezen op afstand #kvan12

De tweede keynote van de KVAN-dagen was van Mireille Hildebrandt en heette Lezen op afstand. Kennis en macht na de computationele wending (slideshare). Het was een beetje een academisch verhaal waarin Hildebrandt via de theorieën van Franco Moretti - die wel interessant onderzoek doet en spannende dingen zegt - uitkwam bij profiling en de gevolgen daarvan. Hierbij verwees ze kort naar iOverheid en naar de nieuwe Europese verordening. Niets nieuws voor degene dit weblog een beetje volgt (zie bijvoorbeeld ook nog hier, hier of hier).
Interessant is nu dat de New York Times gisteren een stuk publiceerde over Acxiom:

Few consumers have ever heard of Acxiom. But analysts say it has amassed the world’s largest commercial database on consumers — and that it wants to know much, much more. Its servers process more than 50 trillion data “transactions” a year. Company executives have said its database contains information about 500 million active consumers worldwide, with about 1,500 data points per person. That includes a majority of adults in the United States.

Dit is dus het soort bedrijf waar Deaver het over heeft in Broken Window... 

But privacy advocates say they are more troubled by data brokers’ ranking systems, which classify some people as high-value prospects, to be offered marketing deals and discounts regularly, while dismissing others as low-value — known in industry slang as “waste.”
Exclusion from a vacation offer may not matter much, says Pam Dixon, the executive director of the World Privacy Forum, a nonprofit group in San Diego, but if marketing algorithms judge certain people as not worthy of receiving promotions for higher education or health services, they could have a serious impact.
“Over time, that can really turn into a mountain of pathways not offered, not seen and not known about,” Ms. Dixon says.

En Deaver lijkt niets te hebben verzonnen...

But the catalog also offers delicate information that has set off alarm bells among some privacy advocates, who worry about the potential for misuse by third parties that could take aim at vulnerable groups. Such information includes consumers’ interests — derived, the catalog says, “from actual purchases and self-reported surveys” — like “Christian families,” “Dieting/Weight Loss,” “Gaming-Casino,” “Money Seekers” and “Smoking/Tobacco.” Acxiom also sells data about an individual’s race, ethnicity and country of origin. “Our Race model,” the catalog says, “provides information on the major racial category: Caucasians, Hispanics, African-Americans, or Asians.” Competing companies sell similar data.
“DO you really know your customers?” Acxiom asks in marketing materials for its shopper recognition system, a program that uses ZIP codes to help retailers confirm consumers’ identities — without asking their permission.
“Simply asking for name and address information poses many challenges: transcription errors, increased checkout time and, worse yet, losing customers who feel that you’re invading their privacy,” Acxiom’s fact sheet explains. In its system, a store clerk need only “capture the shopper’s name from a check or third-party credit card at the point of sale and then ask for the shopper’s ZIP code or telephone number.” With that data Acxiom can identify shoppers within a 10 percent margin of error, it says, enabling stores to reward their best customers with special offers. Other companies offer similar services.

Tenslotte een plaatje uit een Acxiom-presentatie van 'n jaar of twee geleden. Als ik het goed begrijp, werken Acxiom en Google sinds een tijdje samen.:

Tja, dan kan Hildebrandt nog wel 26 extra aanbevelingen doen die in lijn met Scully en Pasanek stellen dat veronderstellingen geëxpliciteerd moeten worden, dat transparantie nodig is  enzovoort enzoverder. Maar het schip is al uit de haven...

Aanvulling, 19 juni 2012, 14:20 uur

Ondertussen heeft Christian de lezing van Hildebrandt uitgebreid en uitstekend samengevat: Lezen of gelezen worden op afstand #kvan12

Gerelateerd

Hoe de supermarkt weet wat je nodig hebt

Recht om te worden vergeten

Van 1 random tweet naar de gegevens over een volledig gezin

Gelezen: D. Tokmetzis - De digitale schaduw

Gelezen: Jeffrey Deaver - The broken window

Plaatje: Axiom, "the jewel of the BnL-fleet"

Risicowaardering en archivering #KVAN12

Een van de interessantere presentaties tijdens de KVAN-dagen deze week, was van Bart Ballaux, Jermaine Dol en Jeroen van Oss:

Één risicoclassificatie voor informatie - Het Rotterdamse model (slideshare). Het model is een uitwerking van norm 3 uit de Baseline Informatiehuishouding gemeenten, die stelt dat er "risicoklassen voor informatiebeheer gedefinieerd" moeten zijn. 

Sinds gisteren is het concept van het risicomodel beschikbaar voor commentaar op de website van het gemeentearchief Rotterdam.

Hieronder een aangepaste versie van het commentaar dat ik vanmorgen naar Rotterdam gestuurd heb, met daarbij de kanttekenig dat ik helemaal niet naar het excel-sheet gekeken heb, maar alleen het theoretisch model heb gelezen.

Algemeen
Het is een zeer interessant model, vooral omdat het voor mij voor de eerste keer inzichtelijk maakt hoe je “een – geprioriteerde – classificatie” en risicoklassen zou kunnen maken. Maar ik denk wel dat het er nu vooral op aan komt om het zo veel en vaak mogelijk in de praktijk te gebruiken om te bekijken of de uitkomsten bruikbaar zijn.

Ook voor toezicht geschikt?
In de tekst staat dat het “instrument is bedoeld voor lijnmanagers, informatie-architecten en procesontwerpers.” (p.3) Allereerst denk ik niet dat zij dit zelfstandig (en vrijwillig) kunnen en zullen invullen, maar ik vraag me hierbij ook af wat de rol van de archivaris / archiefinspecteur gaat zijn. Speelt de archivaris een rol bij het invullen van de risico-analyses?
Op welke manier zal dit risicomodel gebruikt (kunnen) gaan worden in het toezicht?
Gaat de archivaris (in zijn rol als toezichthouder) bekijken of de risicowaardering goed is gedaan, of gaat hij alleen bekijken of de maatregelen die op grond van de risicowaardering genomen moeten worden, ook goed (genoeg) genomen zijn? Of is er sprake van een dubbel traject: de archiefinspecteur beoordeelt in eerste instantie de individuele risicowaardering en bekijkt later of de juiste maatregelen zijn doorgevoerd?

De heiligheid van een vragenlijst
Zoals aan iedere checklist kleeft aan het instrument het risico van “heiligheid” of “onfeilbaarheid.”
Daarmee bedoel ik dat de uitkomst van bijvoorbeeld de risicoweging belangrijker wordt gevonden dan het er aan voorafgaande gesprek.  Wat opgeschreven is, is waar.

Je zag dit dinsdag al gebeuren bij de demonstratie. De “proceseigenaar” vond het invullen van de getalletjes zo belangrijk dat ze over iedere kans en impact heel lang en serieus nadacht en aan het eind ook nog eens zei dat het natuurlijk maar een slag in de lucht was, omdat ze eigenlijk helemaal geen proceseigenaar is. Terwijl het maar een demonstratie was.
Een ander gevolg van “onfeilbaarheid” kan zijn dat er niet verder gekeken wordt dan het model: het model is de enige waarheid. Terwijl het natuurlijk een vereenvoudigde, in de tijd bevroren weergave van de werkelijkheid is. Je zult dus moeten inbouwen dat de risicoanalyse geregeld opnieuw wordt gedaan, bij voorkeur door andere medewerkers en je moet zorgen dat er “tegenkrachten” zijn die buiten het model kijken (bijvoorbeeld de archiefinspectie?). 

(Deze wijsheid heb ik niet van mezelf, maar is mijn “vertaling” van het rapport van de ROB. Zie ook KPI, perversiteit en de kikker)

Risico’s inschatten
Mijn algemene bezwaar bij / probleem met risicomodellen is dat het de indruk van accuraatheid en precisie geeft (door de absolute getallen en de vermenigvuldiging), terwijl het vaak maar een slag in de lucht is. Want hoe zou je moeten inschatten hoe groot de kans is dat een balkon instort, een vuurwerkopslagplaats ontploft of bruggen overbelast worden? 

En nog lastiger is het om in te schatten wat de bestuurlijke risico’s zijn. Die hangen namelijk heel erg af van de positie van de bestuurders en de luimen van de volksvertegenwoordigers. Ook dit maakt regelmatige herhaling en een prominente inzet van “tegenkrachten” noodzakelijk.
Tenslotte nodigt de methode misschien ook wel uit tot marchanderen: als ik als proceseigenaar vind dat ik te veel beheersmaatregelen moet nemen, schat ik een risico bij nader inzien misschien wel op een 5 in plaats van een 7, of een 4 in plaats van een 6. (Een beetje vergelijkbaar met het verdelen van de aftrekposten bij de aangeven van de inkomstenbelasting.) 

Het is dan zeer de vraag wat de waarde van de risicoinschatting en bijbehorende beheersmaatregelen is.

Werkt het wel?
Wat ik moeilijk kan inschatten is wat de uitkomsten van een geanalyseerd proces zouden kunnen zijn en wat dit dan betekent voor het informatiebeheer. Aan het eind staan wel de vereiste beheersmaatregelen per risicoklasse beschreven, maar ik kan niet overzien welke combinaties in de praktijk mogelijk zijn en wat dat dan betekent voor de maatregelen die de proceseigenaar zou moeten laten nemen. Het zou zomaar kunnen dat een algemeen niveau 1 (dat dus nauwelijks beheersmaatregelen eist) niet of nauwelijks voorkomt. In dat geval zou je ervoor kunnen kiezen om bijvoorbeeld niveau 2 als algemene, voor alle processen geldende “baseline” te gebruiken en dan alleen “naar boven” variëren. Maar of dit klopt moet blijken uit zo veel mogelijk invullen en testen.
En om het allemaal wat concreter te maken zou je niet alleen in de tekst meer voorbeelden moeten opnemen, maar misschien ook moeten kijken of je een analyse kunt maken van een of meer processen waarbij in het verleden incidenten hebben plaats gevonden. Op die manier kun je waarschijnlijk inschatten of de risico-analyses en erbij horende beheersmaatregelen reëel en toepasbaar zijn. En je kunt aan proceseigenaren laten zien wat de gevolgen van een verkeerde inschatting of gebrekkige beheersmaatregelen zijn.

Selectie & vernietiging
Iets anders dat opvalt is dat selectie en vernietiging nauwelijks aan bod komen. Bij niveau 1 van Raadpleegbaarheid staan de systeemfunctionaliteiten uit NEN 2082 die daar betrekking op hebben (6.5) niet genoemd. 

Hoeven die archiefstukken niet op een vernietigingslijst opgenomen te worden? 

Bij de andere niveaus wordt de functionaliteit wel genoemd, maar wat dan opvalt, is dat in de “lijst van procedures en instrumenten” selectie en vernietiging ook niet voorkomen. Dat lijkt me toch wel noodzakelijk.

Maar alles overziend ben ik heel benieuwd naar de eerste uitkomsten van zo'n analyse.

Mocht je zelf ook commentaar willen geven op het model, dat kan tot 30 juni via infogar@rotterdam.nl.

Gerelateerd
KPI, perversiteit en de kikker
Over inspectie, toezicht en zelfrijzend bakmeel

Plaatje: Risk van Loop_oh

Opslag wordt steeds goedkoper, dus laten we maar alles bewaren

Er zijn mensen die vinden dat selectie en vernietiging van digitale archiefstukken onnodig is. Vroeger, in de analoge situatie, was de enige reden om dossiers te vernietigen het gebruik van en gebrek aan fysieke opslagruimte. Maar, aangezien digitale opslag nauwelijks fysieke ruimte inneemt en ook nog eens steeds goedkoper wordt (de beroemde Wetten van Moore en Kryder), is digitale vernietiging niet meer nodig: Let's just keep everything!
De afgelopen week heb ik een paar blogs gelezen die deze ideeën toch wat nuanceren.

Kosten
Allereerst was er David Rosenthal die berekende wat het zou kosten om alle in 2011 gecreëerde data (1,8 Zettabytes, bijna 2 miljard TB) in the cloud op te slaan:

If we decided to keep it all for the long term in the cloud, we would be effectively endowing it. How big would the endowment be? Applying our model, starting with S3's current highest-volume price of $0.055/GB/mo and assuming that price continues to drop at the 10%/yr historic rate for S3's largest tier, we need an endowment of about $6.3K/TB. So the net present value of the cost of keeping all the world's 2011 data in S3 would be about $11.4 trillion. The 2011 Gross World Product (GWP) at purchasing price parity is almost $80 trillion. So keeping 2011's data would consume 14% of 2011's GWP. The world would be writing S3 a check each month of the first year for almost $100 billion, unless the world got a volume discount.

Daarna berekent hij dat in 2018 het bewaren van alles wat er in dat jaar gecreëerd wordt, evenveel kost als 't gehele Bruto Wereldproduct.
In de comments voegt hij daar nog een interessant perspectief bij:

Amazon designs S3 for 11 nines of reliability, or a 10^-11 chance that an object will be unrecoverable in a given year. The average size of an object is a megabyte. Thus 2011's 1.8 Zettabytes would be 1.8*10^15 objects, and S3 would lose 18,000 of 2011's objects each year, or 18GB/yr of data.

Maar er is meer...

Groei
Ruim anderhalf jaar geleden schreef Barclay Blair ook het een en ander over opslagkosten.
Een van de (onuitgesproken) aannames achter de opmerking "opslag wordt goedkoper", is ook dat opslag minder gaat kosten. Blair laat aan de hand van onderstaand plaatje zien hoe het "echt" zit:

In tien jaar tijd zijn de kosten voor een schijf per GB ongeveer 100 keer zo klein geworden. Dat zie je in de onderste lijn. Maar, en dat is de middelste lijn, de uitgaven voor hardware zijn in die tien jaar gelijk gebleven. Met behulp van een analogie legt Blair uit wat dit betekent:

The average American drives 12,000 miles each year. At a rate of 30 mpg, that means he/she uses 400 gallons of fuel, at current prices of $3.00 per gallon. As such, he/she spends $1200 each year on gas. Now, if the price of gas dropped the equivalent of the price of hard drives - from $3.00 per gallon to 3 cents per gallon, for that same $1200, he/she could drive 1.2 million miles per year, not 12,000. And that is exactly what we have been doing with digital information, as the cost of hard drives has dropped 100 times, we have continued to spend the same amount of money even though the cost is less than 1% of what it was. Clearly, we are “driving” more.

De derde lijn laat zien wat daar de consequentie van is: meer opslag betekent ook dat meer software nodig is om die opslag goed te beheren. Tien jaar geleden bedroegen de softwarekosten nog ongeveer 1/6 van de totale opslagkosten (hardware + software), in 2010 was dat al 1/3.

[Het plaatje dat hier stond is weg. IKo, 9 juni 2012]

Ook het plaatje hierboven komt van Blair en laat in de eerste kolom zien dat de data-groei in de komende tien (ondertussen acht) jaar enorm is. Maar, het aantal "bestanden" dat ontstaat en beheerd zou moeten worden, groeit nog sneller!

As we complete the transition from paper to digital, the kinds of data we are creating and the kind of management it requires is changing. According to the study, the amount of data requiring some type of information governance (i.e, for “privacy, compliance, custodial protection, confidentiality, or absolute lock down” purposes) by 2020 will nearly double. Moreover, the portion requiring the highest levels of information governance control will grow 100 times. Furthermore, when viewed from a files – rather than an absolute volume perspective – the number of files requiring some kind of information governance will be over 90%.

En er is nog meer...

Minimalisering
Al die data opslaan is een uitdaging, die misschien wel opgelost wordt door de opslagruimte revolutionair te verkleinen. Zie bijvoorbeeld waar IBM mee bezig is:

Researchers at I.B.M. have stored and retrieved digital 1s and 0s from an array of just 12 atoms, pushing the boundaries of the magnetic storage of information to the edge of what is possible.

Vraag is natuurlijk hoe lang het gaat duren voordat dit bruikbaar en betaalbaar is.
Maar er is nog een probleem...

Migratie
De huidige digitale dragers (harde schijven, tape) lijden allemaal aan autonoom verval. Dat wil zeggen dat de data die er op staan regelmatig verplaatst moeten worden naar een nieuwe drager, omdat de data anders onleesbaar worden doordat de drager niet meer (goed) toegankelijk is. Goedaardige verwaarlozing leidt dan onherroepelijk tot verlies van informatie.
Inge Angevaare schreef daar iets interessants over in haar verslag van Screening the Future:

Hummel indicated that a single media migration at an (unidentified) major studio took six months! He quoted the 100 Year Archive Task Force of the Storage Networking Industry Association (SNIA) as saying:

It is the contention of the 100 Year Archive Task Force that migration [meaning: media migration, IA] as a discrete long-term preservation methodology is broken in the data center. Today’s migration practices do not scale cost-effectively and won’t be done until a crisis erupts. This means that today’s reliance on [media - IA] migration is taking us down a ‘dead-end path.’ Hear this, under these practice guidelines, the world’s digital information is at great risk.

Daar zijn wel oplossingen voor.
Mijn Zeeuwse collega zweert bij de M-Disc van Millenniata, waarbij de nullen en eentjes niet in een laklaag gesmolten worden, maar in een soort steen geëtst worden. De schijven zijn daarna afspeelbaar in ieder "gewoon" cd- of dvd-station. Nadeel is wel dat er "maar" 4,7 GB op een schijfje passen.
Een andere mogelijke oplossing is DOTS van Group 47:

DOTS (Digital Optical Technology System) is a digital storage media that is archival for no less than 100 years, non-magnetic, chemically inert, immune from electromagnetic fields including electromagnetic pulse (EMP), able to be stored in normal office environments or extremes ranging from -9º - 65º C.
Because there are no demanding climate control requirements, DOTS is a low-cost, environmentally-friendly way to truly archive data long term.

Het idee achter DOTS komt van Eastman Kodak, lijkt een beetje op de Rosetta-disk van Long Now en komt overeen met iets waar ik het een paar jaar geleden met Ad van Heijst over had in de marge van een overleg over vervanging:

DOTS is a true optical “eye-readable” method of storing digital files. With sufficient magnification, one can actually see the digital information. Our “Rosetta Leader™” specification calls for microfiche-scale human readable text at the beginning of each tape with instructions on how the data is encoded and instructions on how to actually construct a reader. Because the information is visible, as long as cameras and imaging devices are available, the information will always be recoverable.

Het gaat hier dus om een variant op microfilm, waarbij op 1 tape circa 1 TB opgeslagen kan worden.

Bestandsformaten 

Het probleem dat nog speelt bij die laatste twee oplossingen is natuurlijk ook nog de veroudering van bestandsformaten. (Ik laat de veroudering van afspeelapparatuur even buiten beschouwing, maar dat is met name bij M-Disk natuurlijk ook nog een risico. Hoe lang gebruiken we nog cd- of dvd-spelers?)

Zowel bij M-Disk als bij DOTS sla je bestanden op in een bepaalde codering. Dat betekent dat ik te zijner tijd de sleutel (software) nodig heb om die informatie te kunnen "ontcijferen". En hoe gaan we dat doen?

Wat ik eigenlijk wou zeggen

Goed een lang verhaal kort, opslag wordt inderdaad steeds kleiner, sneller en goedkoper. Maar, de hoeveelheid data die gecreëerd en beheerd moet worden en de totale kosten die dat met zich meebrengt, groeien zo snel, dat ze waarschijnlijk niet of nauwelijks worden gecompenseerd door "Moore en Kryder."

Als je kijkt naar digitale archiefstukken, denk ik daarom dat we om dezelfde reden als bij analoge archiefstukken niet ontkomen aan selectie en vernietiging: het zal gewoon te kostbaar zijn om alles permanent te bewaren.

Gerelateerd

Infopocalypse, kent u dat?

Een kleine geschiedenis van data-opslag

Digitale goedaardige verwaarlozing

Digitale antiquiteiten

Plaatje bovenaan: Fire proof van Derek Bruff

P.S. Deze blog is het resultaat van zes jaar discussiëren met Chido over alles bewaren of niet. Afgelopen week hebben we er weer eens wat over heen en weer getwitterd. Eigenlijk hadden we een voorstel willen indienen voor KVAN12, maar dat is er niet van gekomen. Wie weet volgend jaar of misschien doen we de discussie zondagavond voorafgaand aan de KVAN-dagen nog eens in het openbaar en in real-life. Maar misschien ook niet...

Amerikaanse Best Practices

Vorige week vond in Lexington de Best Practices Exchange 2011 plaats. Bonnie Wedle, een van mijn Amerikaanse "goeroes", schrijft er enkele interessante dingen over:

Users do not use digital collections in the same way as they use paper collections, and we cannot guess how digital collections will be used. For example, LC assumed that researchers would want textual records, but a growing number of researchers want image files of textual records.

Dat laatste is een bijzondere constatering die een eigenlijk in gaat tegen de berichtgeving in de NRC over "het digitale drama"
Het volgende citaat lijkt dan weer in tegenspraak met het eerste:

We also need to start thinking in terms of “Big Data.” The definition of Big Data -- what can be easily manipulated with common tools and can be managed and stewarded by any one institutions -- is rather fluid, but we need to start thinking in these terms. We also need to be aware that Big Data may have commercial value, as evidenced by the increasing interest of firms such as Ancestry.com in the data found in our holdings. 

Het volgende citaat is niet alleen waar Christian eerder al over schreef en waar volgende maand een Speel-en-deel-sessie aan gewijd wordt, maar vooral de eerste paar zinnen zijn 100% Archief 2.0:

We have to switch to a self-serve model of reference services. Growing numbers of researchers do not want to come to us, ask questions of us, and then use our materials in our environment. They want to find the materials they need and then pull them out of our environment and into their own workspaces. We need to create systems and mechanisms that make it easy for them to do so. As a result, we need to figure out how to support real-time querying of billions of full-text items and the frequent downloading by researchers of collections that may be over 200 TB each. We also need to think about providing tools that support various forms of collection analysis (e.g., visualization).

De gebruiker heeft de archiefdienst alleen maar nodig om de "data" beschikbaar te stellen, daarna moet hij er mee kunnen doen wat hij helemaal zelf wil.
En tenslotte nog een citaat dat de digitale problemen van archiefdiensten, bibliotheken en overheden in het algemeen weergeeft: de enorme omvang van de digitale informatie die we moeten gaan beheren en beheersen:

The sheer volume of the electronic data cultural stewardship organizations need to keep is a challenge. LC has acquired the Twitter archive, which currently consists of 37 billion individual tweets and will expand to approximately 50 billion tweets by year’s end. The archive grows by 6 million tweets an hour. LC is struggling to figure out how best to manage, preserve, and provide comprehensive access to this mass of data, which researchers have already used to study the geographic spread of the dissemination of news, the spread of epidemics, and the transmission of new uses of language.

 De opzet van die Best Practices Exchange is ook wel interessant:

For the past few years, those of us who have attended the BPE have tried to adhere to the principle that “what happens at BPE, stays at BPE.” This doesn’t mean that we don’t share what we’ve learned at the BPE (hey, I’m blogging about it!), but it does mean that we’re sensitive to the fact that candor is both essential and risky. The BPE encourages people to speak honestly about how and why projects or programs went wrong and what they learned from the experience. Openness of this sort is encouraging; all too often, we think that we’re alone in making mistakes. It's also helpful: pointing out hidden shallows and lurking icebergs helps other people avoid them. However, sometimes lack of senior manager commitment, conflicts with IT personnel, and other internal problems contribute to failure, and colleagues and supervisors occasionally regard discussion of internal problems as a betrayal. As a result, BPE attendees should exercise some discretion, and those of us who blog about the BPE should be particularly careful; our posts are a single Web search away.

Was er een paar weken geleden in Nederland niet ook een bijeenkomst die volledig ging over mislukte projecten?
En zou dat niet een interessante "lijn" zijn tijdens #KVAN12?

Plaatje: Geek & Poke