Modelgedreven ontwikkeling
Code schrijven is vaak herhaalwerk
In een data platform lijkt veel werk op elkaar. Een hub laden, een dimensie vullen, een bestand inlezen: het patroon is steeds hetzelfde, alleen de tabellen en kolommen verschillen. Dat werk hoort een computer te doen.
Van model naar code
Daarom leg ik de structuur van een data platform vast in een model. Op basis van de metadata uit dat model genereer ik de code. Ik heb hiervoor PowerDesigner en Enterprise Architect gebruikt. Voor beide heb ik eigen plugins gebouwd. Die versnellen het modelleren en genereren de code voor het platform waar de klant op draait:
- Informatica PowerCenter mappings en workflows
- SQL en database definities
- Databricks notebooks
- de orkestratie die alle laadprocessen aanstuurt
Een paar voorbeelden:
- Voor een bank heb ik de ontwikkelstraat van een nieuw data warehouse ingericht. Alle laadprocessen, database definities en de orkestratie werden gegenereerd vanuit PowerDesigner.
- Voor een netbeheerder heb ik een generator gebouwd die laadprocessen voor Databricks genereert op basis van Enterprise Architect modellen.
- Eerder bouwde ik generatoren voor PowerCenter mappings, Data Vault laadstromen en testscripts.
Wat het oplevert
- Tijdwinst. Genereren gaat vele malen sneller dan met de hand bouwen.
- Constante kwaliteit. Als één laadproces werkt, werken ze allemaal. Nooit meer fouten omdat iemand één kolom vergeten is.
- Betere laadstromen. Extra controles kosten geen extra werk meer. Ze worden gewoon meegegenereerd.
- Eenvoudig testen. Test het patroon één keer goed, daarna hoeft alleen de functionele logica getest te worden.
En nu: AI
Tegenwoordig kan AI code schrijven. Dat maakt modelgedreven ontwikkeling alleen maar sterker. Wie de metadata op orde heeft, kan AI precies vertellen wat er gebouwd moet worden. Zonder goede metadata krijg je code die er goed uitziet, maar niet doet wat je verwacht.
Het model blijft de bron van de waarheid. AI wordt een krachtige generator, mits je weet wat je vraagt en het resultaat kunt beoordelen.