Organisaties willen graag sturen op de meest recente gegevens. Wij krijgen dan ook vaak de vraag: “Hoe vaak kunnen jullie de data in mijn dashboard of datawarehouse vernieuwen?” In dit blog geven we antwoord op deze vraag en leggen we uit waarmee je rekening moet houden.
Wat is het vernieuwen van data?
Allereerst, wat bedoelen we precies met het 'vernieuwen van data'? Het is het proces waarbij bestaande gegevens worden bijgewerkt op basis van nieuwe beschikbare informatie of waarbij nieuwe data wordt toegevoegd aan het datawarehouse. Een datawarehouse is een gestructureerde verzameling aan tabellen met data uit al je bronnen en software. Het is de basis om vervolgens dashboards mee te bouwen.
Niet in elke tabel of elk datawarehouse worden gegevens vervangen; soms wordt enkel nieuwe data toegevoegd, terwijl de oude informatie behouden blijft. Dit kan handig zijn om een 'audittrail' te creëren en historisch overzicht te behouden. Een voorbeeld hiervan is de status van een bestelling. In plaats van de status te veranderen van ‘Open’ naar ‘Verzonden’, kan er een extra rij worden toegevoegd in de tabel voor de nieuwe status. Hierdoor kun je bijvoorbeeld analyseren hoe lang het heeft geduurd voordat een geplaatste bestelling verzonden werd.
Het regelmatig bijwerken van deze data is essentieel om ervoor te zorgen dat bedrijfsanalyses en beslissingen worden genomen op basis van de meest actuele informatie.
Hoe vaak moet data in een datawarehouse worden ververst?
Het antwoord op deze vraag is niet eenduidig en hangt sterk af van het specifieke doel van de gegevens. Voor real-time dashboards, bijvoorbeeld, worden de gegevens doorlopend ververst. Echter, voor veel bedrijven is een dagelijkse update, vaak ’s nachts uitgevoerd, voldoende.
De kernvraag die je jezelf hierbij dient te stellen is: "Wat wil ik nu daadwerkelijk bereiken met deze real-time data?" Dat kan zijn om gedurende de dag bij te sturen, zoals het inschakelen van oproepkrachten of door prioriteiten tijdens de dag te verschuiven.
De verversingsfrequentie hoeft niet voor al je data gelijk te zijn. Het is bijvoorbeeld mogelijk data over bestellingen real-time op te halen, maar de data van retouren niet. Aan het real-time ophalen van data kleven ook een aantal nadelen, welke we hieronder bespreken.
Waar op letten bij het vernieuwen van data
Systeembeperkingen
Sommige systemen leggen beperkingen op met betrekking tot wanneer je data mag ophalen. Dit kan real-time updates belemmeren. Bepaalde softwareleveranciers kiezen er bijvoorbeeld voor om hun datakoppeling alleen ’s nachts beschikbaar te stellen, omdat hun systeem anders overdag te zwaar belast raakt voor normale gebruikers.
API-limieten
De meeste software hanteren limieten aan hun koppelingen of API’s. Je mag dan maar een beperkt aantal aanvragen doen per uur, dag of week. Ook dit wordt gedaan om overbelasting van de koppeling en het systeem te voorkomen. Hierdoor kan real-time verversing van je data een uitdaging zijn. Een oplossing is dan het verlengen van het verversinginterval. In plaats van real-time verversing laat je dan ieder kwartier of uur de data ophalen.
Data verversen terwijl je bedrijf actief is
Wanneer je tot de conclusie komt dat het eenmaal per dag vernieuwen van de data in je datawarehouse voldoende is, dan is in de meeste gevallen ’s nachts daarvoor het beste moment. Dit komt omdat overdag de data nog volop in beweging is. Stel je collega van recruitment is in contact gekomen met een nieuwe kandidaat. Wanneer hij de gegevens nog aan het bijwerken is in het systeem terwijl de data wordt vernieuwd, heb je voor minimaal 24 uur incomplete data in je datawarehouse.
In een aantal systemen zijn onderlinge onderdelen ook niet altijd volledig met elkaar gesynchroniseerd gedurende de dag. Dat is voornamelijk het geval in systemen met hele hoge volumes aan data. Dit kan problemen opleveren bij het vernieuwen van de data, doordat relaties tussen de verschillende processen dan niet gelegd kunnen worden. ’s Nachts is daarom het beste moment, wanneer je dit eenmaal per dag wil doen om de data te verversen. Je kan dan alle data ophalen van de voorgaande dag, zodat je collega’s en jij de volgende morgen toegang hebben tot de meest recente inzichten.
Kosten
Afhankelijk van welke aanbieder of technologie je gebruikt, gaat het vaker ophalen van data gepaard met extra kosten. Je gebruikt namelijk meer rekenkracht en capaciteit. Daarnaast is het ook onderdeel van het verdienmodel van sommige aanbieders. In zulke gevallen heb je de afweging te maken of de meerwaarde van real-time data opweegt tegen de extra kosten.
Het verversen van data in een datawarehouse of dashboard is een complex proces dat planning en overweging vereist. Het is belangrijk om een evenwicht te vinden tussen de toegang hebben tot de meest recente gegevens en de hierboven besproken beperkingen. Wat voor de ene organisatie werkt, werkt mogelijk niet voor de ander.
Bij FRISCON helpen we bedrijven om de juiste keuze hierin te maken. De meerkosten voor het (bijna) real-time verwerken van data zijn bij ons beperkt, maar de hierboven beschreven overwegingen weerhouden bedrijven vaak van een real-time aanpak. In plaats daarvan kiezen zij er, in overleg met ons, vaak voor om hun data één keer of enkele keren per dag te verversen.
Comments