De complexiteit van analyses werd met een factor tien verminderd. Analyses gaan nu sneller, geven consistentere resultaten en de externe tool is niet meer nodig (kostenbesparing). Business users kunnen zelf aan de slag met inzichten uit de data. Maar, bol blijft bol. Engineers at heart zijn ze ondertussen al weer verder. Waar het systeem Adobe Analytics ruimte maakte voor een in-house ontwikkelde Apache Kafka oplossing, maakte deze recent weer ruimte voor Rudderstack. Zo zie je maar, data is nooit klaar.
Analyse
De interne tool had veel meer informatie dan de externe, maar meer is niet per se beter. Door veel detail is het moeilijk om door de bomen het bos te zien. Het moest eenvoudiger. Het doel was de tool eenvoudiger te maken zodat analyses sneller en makkelijker konden.
Strategie
We focusten op twee kernonderdelen: klantgedrag en financiële resultaten. Samen met interne stakeholders ontwierpen we een modulaire structuur en bouwden we een proof of concept om A/B-tests uitvoerig te kunnen analyseren.
Uitvoering
We braken de gigantische hoeveelheid data op in verschillende modules met dbt en BigQuery. We maakten een duidelijke flow van data waardoor A/B tests sneller, consistenter én correcter konden worden uitgevoerd. We introduceerden data tests, en stroomlijnden het hele proces. We ontwikkelden dashboards die op deze nieuwe, nette data werkte. De grootste complexiteit lag in de hoeveelheid data: 100TB per analyse was geen uitzondering.
Onderhouden & Schalen
Het systeem was gebouwd in een productieomgeving om permanent en automatisch te draaien. Geen manuele data invoeren dus (ook nogal moeilijk met 100TB!). We organiseerden intern verschillende kennisdelingen over het resultaat, en bespraken het succes & verbeterpunten met de business owners, data owners, business analisten en applicatieontwikkelaars.
