Data mesh, ofwel: hoe vul je een tube tandpasta

Oplossing zoekt probleem of meer dan een hype?

Is data mesh weer een briljante hype bedacht door tech leveranciers of is het een zinvol concept dat je als organisatie verder helpt om data als bedrijfsmiddel toe te passen? Binnen de data-wereld (die op zich al een hoog hype-gehalte heeft) duiken nieuwe hypes sneller op dan dat ze te volgen zijn. Is data mesh ook weer zo’n hype bedacht door tech leveranciers en bedoeld om de zoveelste nieuwe data-suite de markt op te proppen? Deze post geeft antwoord op de vraag of data mesh wel of geen substantieel concept is dat daadwerkelijk een bijdrage levert aan de belofte dat data een bedrijfsmiddel met strategische waarde is.

Data mesh en de kunst van tubes tandpasta vullen

Ooit wel eens geprobeerd om een lege tube tandpasta te vullen met tandpasta? De pasta via de voorkant van de tube naar binnen persen werkt natuurlijk niet: dit wordt één grote bende. Beter kan je de achterkant openknippen, de pasta naar binnen lepelen en de achterkant weer dicht vouwen. In plaats van die nauwe ingang aan de voorkant van de tube -bottleneck- maak je gebruik van de plek die ruimte biedt: de achterkant van de tube.

Data mesh is een beetje hetzelfde. Data mesh gaat over het elimineren van bottlenecks bij de productie van dataproducten (waarover later meer) binnen de organisatie. De centrale afdeling die verantwoordelijk is voor bouw en beheer van alle dataproducten binnen de hele organisatie is zo’n bottleneck. Eentje die met stip bovenaan staat op de lijst van faalfactoren bij elke organisatie die probeert waarde te creëren met het bedrijfsmiddel data. Data mesh lost dit op door decentralisatie van de productie van dataproducten.

Waarmee meteen duidelijk is dat data mesh een organisatieconcept is, en géén technologieconcept. Alvast één hype debunked dus. En meteen het eerste principe van data mesh te pakken: data mesh gaat over het decentraal, in de organisatie, maken van dataproducten. Als tegenovergesteld van een centrale afdeling die dataproducten maakt.

Data en meubels van de bekende Zweedse Meubelfabriek

Leuk als iedereen in de organisatie die dataproducten zoals dashboards en rapporten, datasets, machine learning modellen of cognitieve services kan maken, maar wordt dat niet een enorme bende en chaos? Hoe voorkom je bijvoorbeeld dat na een jaar niemand in de organisatie nog weet wat de betekenis en waarde is van een bepaald product? Of wie het in eigendom en beheer heeft, waar je het wel en vooral niet kan gebruiken, en wat de betrouwbaarheid en kwaliteit is van dat product?

Klopt, dat is precies wat er gaat gebeuren – tenzij je de uitgangspunten van productdenken toe gaat passen (vandaar overigens de term dataproduct). Dit is het tweede principe van data mesh. En ook dit principe gaat niet over technologie maar over data management en data governance.

Productdenken betekent dat dataproducten vindbaar zijn met heldere beschrijving (de Meubelfabriek catalogus), hoe je het product moet gebruiken en waarvoor je het kan gebruiken en waarvoor niet (bouw- en gebruiksinstructie). Maar productdenken betekent ook dat het product te gebruiken is in gangbare context en met gangbare hulpmiddelen (gereedschap), dat bekend is wat de kwaliteit is en hoe deze gehandhaafd en geborgd is (ISO-normen). En het betekent standaardisatie: onderdelen moeten vervangbaar zijn (ladefrontje van de keukenkasten) en dus qua maat en constructie gestandaardiseerd.

Self service en de bouwmarkt voor de vakman én thuis-klussert

Okee, we gaan dus decentraal is de organisatie data producten maken. Waarbij we ook nog eens productdenk-concepten moeten toepassen zoals standaardisatie en gegarandeerde kwaliteit. Hoe gaan we dat dan voor elkaar boxen? Hiervoor komt het derde principe van data mesh om de hoek kijken: het self service inrichtingsprincipe. Dit principe betekent dat de organisatie self service middelen ter beschikking stelt aan haar medewerkers. Zeg maar: de bouwmarkt, de plek waar de vakman en de thuis-klussert naar toe gaat voor kant-en-klare middelen (onderdelen, gereedschap) die nodig zijn om een product te maken. Waarbij de aangeboden middelen gestandaardiseerd zijn met ingebouwde kwaliteit. Vergelijk het met de wandcontactdoos die je daar koopt: ISO-gecertificeerd, geschikt voor 220~330 volt met een maximale belasting van 16 Ampère et cetera. Je moet als handige thuis-klussert natuurlijk wel weten hoe je die wandcontactdoos op de juiste manier moet aansluiten en monteren -niet buiten dus bijvoorbeeld.

Self service middelen alleen zijn dus niet toereikend, self service betekent ook dat je als dataproduct maker kennis en kunde moet hebben: datageletterdheid. En natuurlijk data  governance, want we willen natuurlijk wel een beetje in de gaten houden dat de producten die gemaakt worden in de organisatie wel betrouwbaar en bruikbaar genoeg zijn. En dat brengt ons naar het volgende en laatste data mesh principe: hoe houden we de boel in de gaten?

Hoe houden we de boel een beetje prettig in de gaten?

Op verschillende plekken in de organisatie ontstaan dus data producten waar voor een deel kwaliteitsaspecten ingebouwd zijn. Producten die gemaakt zijn door vaklieden en door getrainde Handige Harries. Die weliswaar zijn gemaakt conform standaarden, maar waarbij er nog steeds wel een aantal data governance vragen open blijven. Zoals: wie mag het dataproduct gebruiken? Is wel voldaan aan alle veiligheidskenmerken? Zijn er misschien dataproducten die “over datum zijn” en eigenlijk niet meer gebruikt zouden moeten worden? Hoe houden we in de gaten wie welk dataproduct gebruikt zodat we bijvoorbeeld afnemers snel kunnen inlichten over productupdates of waarschuwingen?

Als binnen de hele organisatie er dataproducten gaan ontstaan, dan wordt het een aardige klus om dit allemaal handmatig bij te houden -met als grote vraag wie dat dan zou moeten gaan doen. Dat gaat natuurlijk niet werken. Om dit effectief en efficient uit te kunnen voeren hebben we het het vierde en laatste belangrijke data mesh principe: geautomatiseerde governance op basis van een organisatie-brede set aan policies. Afgekort naar: geautomatiseerde gefedereerde governance. Met zo’n term kan je nog eens voor de dag komen!

Data mesh: Hype of Hulp?

In vier stappen hebben we gekeken naar het fenomeen data mesh en bij elke stap een principe gedefinieerd. Het begint met het elimineren van bottlenecks bij het maken van data producten door decentralisatie. Om te zorgen dat dataproducten ook daadwerkelijk bruikbaar zijn in de organisatie ontstaat de noodzaak tot productdenken. Via self service wordt organisatie geëquipeerd met middelen om zelf veilige dataproducten te maken.  Effectief en efficiënt garanderen en handhaven van de kwaliteit van alle dataproducten op basis van een organisatie-brede set aan policies vereist geautomatiseerde en gefedereerde governance.

Het zal duidelijk zijn: data mesh is nadrukkelijk géén hype term waarmee leveranciers hun spulleboel aan de man proberen te brengen, maar een wezenlijk organisatie-inrichtingsprincipe bedoeld om de belofte van data als bedrijfsmiddel met strategische waarde verder gestalte te geven.