Data mesh; wel of geen ei van columbus voor datagedreven werken

Dat het huidige datamanagement al zo snel een soort van glazen plafond bereikt, heeft niet iedereen aan zien komen. Toch wordt datagedreven werken op basis van één centraal dataplatform voor alle bedrijfsonderdelen steeds vaker een groot bottleneck. Data mesh biedt uitkomst. Maar niet voor iedereen. Wat is data mesh en wanneer is de organisatie wel of niet rijp voor deze nieuwe gedecentraliseerde aanpak voor databeheer? We zetten het op een rij.

Waarde in data ontsluiten

Steeds meer organisaties en afdelingen daarbinnen beseffen dat er waarde kan worden gecreëerd als data goed wordt benut. Dat zorgt ervoor dat ambities vaak harder groeien dan de daadkracht om diezelfde ambities waar te maken. Ondanks flinke investeringen in datavoorzieningen zoals de opzet van een centrale data-architectuur, data warehouses en lakes, allerlei reporting tools en uiteraard de datateams zelf. De snel stijgende hoeveelheid data en toenemende complexiteit zorgen ervoor, dat data scientists lang moeten wachten op aangevraagde datasets. Dat terwijl marketeers en andere gebruikers sneller en vaker een beroep willen doen op data om bijvoorbeeld nieuwe verdienmodellen in de markt te zetten, concurrenten slim af te willen zijn of omdat wet- en regelgeving verandert. Zo ontstaan ongewenste wachttijden. Bovendien neemt de druk op centrale datateams waar kennis van datacomplexiteit en de business toch al schaars is, alleen maar verder toe. Nog maar niet te spreken over de kosten die de pan uit dreigen te rijzen voor een databerg die alleen maar groter wordt binnen een starre infrastructuur.

Doorbraak door decentralisatie

De inzet van data mesh zorgt voor een doorbraak. Waar traditioneel datamanagement veelal een centrale aanpak is, is hierbij sprake van een gedecentraliseerde benadering. Iedere datagebruiker wordt zowel producent als eigenaar van analytische data en deelt de gegevens met andere organisatie-onderdelen in de vorm van zogeheten dataproducten. Voor het maken van die dataproducten is een zelfbedieningsplatform nodig dat datagebruikers faciliteert. Verder is het zaak dat een speciaal team wordt samengesteld die (privacy-)standaarden opstelt en bijvoorbeeld veiligheid waarborgt. In tegenstelling tot traditionele werkvormen, bestaat dit team uit vertegenwoordigers van elke afdeling die data gebruikt, dataplatformspecialisten èn specifieke functionarissen zoals een juridisch of security expert. Waar in een centrale aanpak sprake is van een top-down benadering waarbij de CIO veelal het beleid voorschrijft, zijn de door dit team ontwikkelde voorschriften resultaat van een democratisch proces waarbij samen wordt bepaald wat nodig is en hoe dat wordt gehandhaafd.

Data Mesh uitgangspunten

Vier belangrijke principes vormen het vertrekpunt voor de implementatie van data mesh. Elk principe heeft zijn eigen doel en samen zijn ze cruciaal voor het succes. Eigenaarschap bij de dataconsument, productdenken, inzet van een self-service platform en heldere governance maken het verschil met traditioneel datamanagement.
Domeineigenaars
Kennis van data over specifieke domeinen ontbreekt vaak bij centrale datateams. Stel dat datagebruikers op zoek zijn naar relevante gegevens om bijvoorbeeld fraude op te sporen. Dan weten fraude-experts doorgaans beter welke data daarvoor nodig is dan de beheerders uit het centrale datateam. Het kost hen veel meer tijd om data te doorgronden en te verwerken naar generieke en bruikbare databouwblokken. Door het eigenaarschap te beleggen bij de datagebruikers zelf wordt dit voorkomen. De keerzijde van deze decentrale verantwoordelijkheid is het creëren van vele datasilo’s binnen een organisatie. Dat is te vermijden met het tweede uitgangspunt:
Data als product
Waardevolle gegevens beschouwen als product waarmee een klus te klaren is waar ook echt behoefte aan is. Dat is productdenken. Een belangrijk uitgangspunt voor data mesh. Net als bij marketeers die een nieuw product lanceren, is het zaak dat je produceert vanuit klantbehoefte. Dus wensen op het vlak van gebruikersvriendelijkheid, vindbaarheid en makkelijk te delen met andere dataconsumenten zijn verantwoordelijkheden die op het bordje liggen van de producent. Dat geldt ook voor de levenscyclus van het dataproduct. Zodra duidelijk is dat het dataproduct bestaande uit code en data niet langer waarde heeft voor de organisatie, dan is het einde verhaal. Dat is relatief makkelijk te meten als dataproducten worden opgenomen in een datacatalogus. Daarmee is eenvoudig bij te houden hoe populair de producten zijn.
Zelfbedieningsplatform
Hoe realistisch is het dat elk domeinteam dataspecialisten in huis heeft die alle dataproducten van de grond af aan kunnen opbouwen, uitrollen en onderhouden? De vraag stellen, is eigenlijk al het antwoord geven. Daarom is een self-serve dataplatform het derde uitgangspunt voor de implementatie van data mesh. Met een kant-en-klaar platform hoeven dataspecialisten zich niet te bekommeren om rekenkracht, netwerk- en applicatiebeheer en het toegankelijk en up-to-date houden van de platformtechnologie. Zonder diepgaande kennis over de onderliggende IT-infrastructuur zijn de dataspecialisten in de verschillende domeinteams in staat zich volledig te richten op de ontwikkeling van hun dataproducten. Het beschikbaar stellen van zo’n platform kan bovendien volgens de technologiestandaarden van de organisatie.
Federated Computational Governance
Centraal bedacht en in tegenstelling tot traditioneel datamanagement, lokaal toegepast. Dat is het uitgangspunt voor de omgangsvormen rondom data mesh. Zo moet het bewaren van gegevens in lijn zijn met de AVG wet- en regelgeving. En kun je bijvoorbeeld een gezamenlijke tijdzone afspreken voor het afgeven van tijdstippen. Ook juridische en veiligheidsaspecten worden vastgesteld in het team dat afspraken maakt over deze zogeheten Federated Computational Governance. Dat vraagt dus om afstemming met andere organisatie-onderdelen. Daarom is het zaak dat elk domein afgevaardigd is in dit team samen met vertegenwoordigers van het self-service dataplatform en de domeinexperts zoals de fraudespecialist of een specifieke marketeer. Waar de CIO of CDO in een centrale omgeving bepaalt wat de spelregels zijn, kiest data mesh voor een beleid dat democratisch tot stand komt en toegepast wordt in het zelfbedieningsdataplatform.

Wel of geen data mesh

Met de inzet van data mesh wordt zoveel mogelijk bestaande capaciteit van  de gehele organisatie benut. De dataproducenten zijn van de gebruikers zelf of staan rechtstreeks met hen in contact, IT hoeft geen tussenpersoon meer te zijn. Dat vraagt natuurlijk wel om aanpassing van de organisatie. Starten met data mesh in een bedrijf waarin datamanagement nog in de kinderschoenen staat, is gedoemd te mislukken. Zolang de organisatie nog niet aanloopt tegen de grenzen van huidige oplossingen, is het nog te vroeg de overstap te maken. Data mesh is vooral geschikt voor wendbare organisaties waarin flexibiliteit en verandering de enige constante zijn. Werken in de cloud is gemeengoed en betrokkenen moeten gewend zijn aan productdenken. Data mesh is immers meer dan een technische oplossing. Wie tegen de grenzen van centraal datamanagement aanhikt, heeft met data mesh een nieuwe uitdaging op weg naar meer waarde realiseren voor de organisatie met data.

Meer weten over Dataplatform?

Download dan de whitepaper ‘In 4 stappen naar een datagedreven organisatie’. Daarnaast organiseren we regelmatig meetups waaraan iedereen vrijblijvend kan deelnemen. Dit is de SoConnect Data. Op onze eventspagina staat de planning.

Naar events    Naar whitepaper