Microsoft Build 2024: Een recap vanuit Power BI en Fabric

Wat is Build?

Build is de jaarlijkse developers conferentie van Microsoft. Tijdens deze conferentie worden de nieuwste technologieën en ontwikkelingen van Microsoft besproken. Hoewel het main event in Seattle plaatsvond, waren de meeste van de 243 sessies ook online te volgen en nog steeds terug te kijken. De sessies dekken een breed scala aan onderwerpen en toepassingen, van .NET tot Teams en van Copilot studio tot Power Platform.

Positionering Power BI en Fabric

Build 2023 -vorig naar dus- was voor Power BI en datagebruikers revolutionair, hier werd namelijk voor het eerst Fabric geïntroduceerd: een gamechanger. Fabric is een begin- tot eindoplossing voor een organisaties’ complete data logistiek. Het binnenhalen, bewerken, opslaan, analyseren en visualiseren van data, het kan allemaal binnen dezelfde omgeving. Waar organisaties voorheen naar de Azure omgeving moesten voor data-engineering, data warehousing, data science en real-time analytics taken, staan deze omgevingen in Fabric met één druk op de knop voor je klaar. Allemaal binnen dezelfde, voor Power BI gebruikers,  herkenbare interface. We zijn inmiddels een jaar verder en Fabric is van de preview status, zeg maar de testfase, naar Generally available (productiestatus) gegaan. In een jaar tijd hebben er veel ontwikkelingen plaatsgevonden. Teglijk hebben we tijdens Build 2024 geleerd dat het nog lang niet uitontwikkeld is. Dat data en Fabric belangrijke pijlers voor Microsoft zijn, werd nog maar eens fijntjes benadrukt tijdens vele sessies inclusief de keynote sesie. OneLake wordt in toenemende mate gepositioneerd als het datafundament vanuit waar Fabric en Copilot verder gaan. Daarmee is Power BI niet meer een autonoom BI product, maar een geïntegreerd onderdeel van Fabric. 

Aankondigingen op Build

In deze blogpost bespreek ik de meest uit het oog springende aankondigingen, namelijk Taskflows, OneLake integraties en Real-time hub. Met name Taksflows is voor Power BI gebruikers een niet te missen feature. Je kunt deze sessies terugkijken op YouTube, de meest leerzame sessies zijn in mijn ogen: 

• Microsoft Fabric: What’s new and what’s next | BRK165(externe link)
• Unify your data with OneLake and Microsoft Fabric | BRK169(externe link)
• En uiteraard de keynote: Full Keynote: Satya Nadella at Microsoft Build 2024(externe link)  

Fabric Roadmap update

Als eerste een aantal korte en interessante updates. De Fabric Roadmap heeft een update gehad. In deze Roadmap kun je een overzicht vinden van de features die voor de komende paar kwartalen op de planning staan. Je kunt de Roadmap vinden op aka.ms/FabricRoadmap(externe link). De Roadmap bevat naast Power BI features ook features voor bijvoorbeeld Data Factory, Admin and Governance, OneLake, enz. 

Trial licenties Fabric

Er is eindelijk meer duidelijk over Trial licenties voor Fabric. Sinds de aankondiging van Fabric tijdens Build 2023 kan iedereen (mits de tenant admin het toestaat) met een Trial licentie aan de slag. Deze licentie is sinds de aankondiging van Fabric in mei 2023 actief, maar gaat echter een keer aflopen. Tot nu toe was niet duidelijk hoe de licentie er daarna uit zou gaan zien. Inmiddels heeft Microsoft aangekondigd dat iedereen een Trial licentie kan krijgen met een F64 SKU capaciteit voor 60 dagen. Dat staat gelijk aan een Premium P1 licentie zoals we die vandaag de dag (nog) kennen. Dat is goed nieuws, want dat betekent dat je Fabric in met alle features kunt testen, inclusief 1 TB storage.

Taskflows

Een van de meest tot de verbeelding sprekende features voor Power BI gebruikers die zijn aangekondigd (én geïmplementeerd) zijn de zogenaamde Taskflows. Taskflows zijn een visuele weergave van je gehele datapijplijn van begin (data ophalen) tot eind (visualiseren). Dit betekent dat je door middel van visuele blokjes iedere stap in je datatransformatie proces kunt toewijzen aan een blokje. Gebruik je bijvoorbeeld Data Factory om je data binnen te halen, dan wijs je aan je Data Factory taak het blokje “Get Data” toe. Wanneer de je output data in bijvoorbeeld een Warehouse opslaat kun je het Warehouse component toewijzen aan het blokje “Store” en een Power BI rapport kun je toewijzen aan het blokje “Visualise”. 

Voordelen taskflows

Een van de voordelen van deze feature is dat de blokjes werken als filter voor de content in je workspace. Dit is met name handig als je veel verschillende Fabric items in je workspace hebt, in dat geval kun je al snel het overzicht kwijtraken. Het is dan heel handig dat wanneer je op het “Visualise” blokje klikt, je alleen je dasboards en rapporten te zien krijgt. Zo kan zowel de data engineer als de rapportbouwer de workspace bekijken naar eigen voorkeur en expertise en de overbodige content uitfilteren. Daarnaast kan dit business users helpen met het snappen hoe de datastromen lopen, of op z’n minst uit zou moeten zien. Het stelt je in staat stap voor stap het dataopwerkingsproces tot stand te laten komen en dit uit de blackbox te halen die het vaak is. Het creëert transparantie, creëert een bepaalde mate van standaardisatie en maakt werk makkelijker overdraagbaar. Waar in de wereld van Power BI desktop alles gebeurt in het semantische model en je in de workspace geen zicht hebt op wat er allemaal met de data is gebeurd in Power BI Desktop, kun je het hier stap-voor-stap traceren. Het maakt daarmee Power BI Desktop in de toekomst mogelijk overbodig. Zeker omdat taskflows ook werken met Source Control en het daarmee ook voor data engineers een DevOps manier van werken biedt. Voor het zover is moet er echter nog een hoop functionaliteit van Power BI Desktop naar de Service worden overgeheveld. 

Ook zijn de Taskflow templates een handige toevoeging. Wil je een Medaillion structuur opzetten? Druk maar op de Medallion template. Een Lambda structuur, het is met één klik op te zetten. Maar naar eigen inzicht customizen kan natuurlijk ook.

Aandachtspunten Taskflows

Toch zijn er ook nog verbeterpunten op te noemen. Zo is het momenteel niet mogelijk om semantische modellen (gemaakt in Power BI Desktop) aan een taak toe te wijzen. Dat is jammer want in veel workspaces zullen waarschijnlijk hoofdzakelijk semantische modellen en rapporten zitten. Ook de mogelijkheid om het venster Taskflow ‘weg’ te klikken of uit te zetten ontbreekt. Je kunt wel de divider tussen de Taskflow en workspace content helemaal naar boven slepen, maar dat voelt toch niet als dé manier. Daarnaast de vraag voor welke doelgroep dit is bedacht? Veel business users zijn in de praktijk Power BI gebruikers die in Desktop een rapport maken en publiceren naar de Power BI Service. Zij zullen in veel gevallen niet met Fabric werken en voornamelijk werken met workspaces gevuld met semantische modellen en rapporten. Juist het feit dat semantische modellen (nog) niet aan een taak zijn toe te wijzen, maakt Taskflows voor de gemiddelde Power BI gebruiker van weinig toegevoegde waarde. Maar laten we het positief zien, het is de eerste versie, verbeteringen zullen waarschijnlijk snel volgen.

OneLake updates

Onder de noemer OneLake updates zijn ook een aantal grote updates besproken. Hoewel de meeste al vóór het event beschikbaar waren, zijn ze nogmaals onder de aandacht gebracht.  Een van de meest in het oog springende zijn de multi-cloud shortcuts, een eenvoudige manier om data die zich buiten het Microsoft OneLake bevindt, beschikbaar te maken in OneLake. De data blijft in de bron, maar krijg je tot je beschikking alsof het in je OneLake staat. Bronnen die ondersteund worden zijn Azure Storage, Amazon AWS S3, Google Storage en Dataverse. 

Ook aangekondigd is mirroring van externe databases waarbij in OneLake volledige en altijd real-time replica’s van de data worden gemaakt. Een erg handige feature die voor met name autorisatie voordelen kan bieden. Het al oude DirectQuery of Import Mode discussie wordt hiermee voor eens en altijd beslecht en gewonnen door iets dat DirectLake Mode heet; een combinatie van Import en DirectLake. De autorisatie regel je in OneLake en of je daarna met Power BI of Excel aan de slag gaat, je ziet uitsluitend wat in OneLake is bepaald je mag zien. Row Level Security (RLS) hoeft -en kan- nog maar op één plaats worden ingeregeld. Een groot pluspunt is dat alle data in OneLake wordt omgezet is het open format Delta Parquet, wat de weg opent naar integratie met andere partijen. En de kosten? De storage is gratis, maar de compute helaas niet. Voor een uitgebreide walk-through is dit artikel zeker een aanrader: Fabric and Azure SQL in a few clicks: Mirroring a Database – Simple Talk(externe link).
Daarnaast is het partnership met Snowflake versterkt, zo ondersteunt OneLake nu het Iceberg data format, een open-source format dat ook Snowflake ondersteunt. Dit geeft de mogelijkheid voor betere integratie over en weer. Het creëren van shortcuts maakt het mogelijk is om Snowflake data direct in je workspace te zien, inclusief het Snowflake icoontje, maar ook om OneLake data in de Snowflake kunnen te gebruiken. Je kunt OneLake- en Iceberg tabellen combineren en joinen. Al met al is Iceberg ondersteuning een zeer sterke feature. Ook de ondersteuning voor Delta Lake Fomat, iets dat gebruikt wordt in Databricks, is nog maar eens wat extra aandacht aan besteed. 
Tot slot heeft Microsoft de API voor GraphQL geïntroduceerd. GraphQL is een open source API waarmee je eenvoudig data uit het OneLake kunt queryen. De afgelopen jaren heeft REST zich ontwikkeld tot dé standaard voor het ontwerpen van web-API’s. En hoewel REST enkele uitstekend features heeft, zoals stateless server (de server houdt geen gegevens bij over de identiteit van de gebruiker) en gestructureerde toegang tot databronnen, is het in de praktijk vaak niet flexibel genoeg om snel in te spelen op veranderingen. GraphQL stelt je als ontwikkelaar in staat hier beter op in te kunnen spelen, het is flexibeler en efficiënter dan REST en kan data uit meerdere bronnen op vragen. Het is als het ware een 2.0 versie van de REST. Een goede keuze van Microsoft om dit te ondersteunen want dit biedt developers nog meer mogelijkheden.

Real-Time intelligence

De laatste grote nieuwe feature is de Real-Time intelligence hub, hét antwoord op de tot op dusverre lastig aan de praat te krijgen real-time- en streaming data specialisatie. Het is de samenvoeging van Synapse Real-Time Analytics en Data Activator. Door de betere integratie van de twee componenten en het meer event-driven maken hiervan, wil Microsoft Real time reporting urgenter en eenvoudiger maken voor met name analisten en business gebruikers. En hoewel dit een goede eerste stap is, is er nog wel wat werk aan de winkel om dit product te vereenvoudigen en te verbeteren. De Real-Time intelligence hub is terug te vinden in de Power BI Service in het lint aan de linkerkant. 

Tenant settings

Micosoft heeft laten zien niet stil te hebben gezeten rondom de ontwikkeling van Fabric. Het zijn interessante features uitnodigen om te ontdekken. Om dit te kunnen doen is het goed om je te realiseren dat de Fabric Administrator deze nieuwe features moet enablen in het Admin Portal om eindgebruikers deze te kunnen laten gebruiken. Ben je Fabric Administator? Dan doe je er verstandig aan om deze settings niet gelijk voor de hele organisatie te enablen, maar bijvoorbeeld eerst voor een groep testgebruikers. Zo kun je feedback ophalen en ervaring opdoen wat goed van pas kan komen wanneer je overweegt deze features breder gaat uit te rollen. Iets wat sowieso niet raadzaam is zolang deze zich in preview status bevinden.

Conclusie

Hoewel het Build event (logischerwijs) niet zo spraakmakend was als vorig jaar toen Fabric werd aangekondigd, laat Microsoft zien vol in te zetten op de gekozen weg die ze met Fabric hebben ingezet. Het product heeft zich ontwikkeld van een wat onduidelijk en buggy experimenteel product naar een solide, waardevol en goed gepositioneerd product. We hebben veel interessante aankondigingen voorbij zien komen zoals de OneLake ontwikkelingen en de Real-Time intelligence heb, al zijn deze features voornamelijk interessant voor developers en engineers, zeker GraphQL biedt veel nieuwe mogelijkheden! Voor Power BI gebruikers is de Taskflow de meest in het oog springende nieuwe ontwikkeling. En hoewel veel van deze features technisch gezien als hoogstandjes kunnen worden gezien, is het de vraag of architecten inmiddels warm gaan lopen om Fabric te introduceren binnen de organisatie. Hoewel het aantrekkelijk klinkt om ‘nu toch eens Fabric te gaan gebruiken’, betekent het in de praktijk dat je mogelijk je bestaande, jaren lang uitgekristalliseerde architectuu moet gooien. Dat zal niet voor alle organisaties even eenvoudig zijn. Daarnaast, waarom zou je als alles prima loopt? Het gaan gebruiken van Fabric klinkt soms als “oplossing zoekt probleem”. Toch kan Fabric voor organisatie met een solide, bestaande architectuur wel degelijk het nodige toevoegen. Je hoeft niet gelijk all-in te gaan. Zo kun je bijvoorbeeld eerst starten met source control en vanuit daar stap voor stap ontdekken of nog meer features zijn die voordelen opleveren. 
Belangrijk is om in ieder geval de ontwikkelingen in te gaten te blijven houden. Zo staat FabCon (Fabric conference) Europe in september op het programma en is in oktober weer een nieuwe Ignite. En wil je tussentijds op de hoogte blijven, lees dan regelmatig over de nieuwste updates in de Power BI en Fabric blogs van Microsoft (Microsoft Fabric-blog. Power BI Blog—Updates and News | Microsoft Power BI)

Bijgepraat worden over Build?

In onze Power Hour Podcast: Alles wat je wilt weten over Power BI, bespreken Laura Keereweer en ik de Power BI en Fabric aankondigingen van het Build event uitgebreid. Luisteren kun je via deze link: Power Hour Podcast(externe link). Speciaal voor deze recap hebben we de podcast ook opgenomen. Je kan hem bekijken – inclusief slides – op YouTube. 

Naar YouTube(externe link)    Naar Data Services

Deze blogpost was niet mogelijk zonder de input van mijn gewaardeerde collega en Fabric explorer Laura Keereweer.