Data Engineering

Ik heb het allemaal voorbij zien komen

Sinds 1996 werk ik met data. In die tijd heb ik elke generatie ETL-gereedschap gebruikt. Het begon met SQL en SAS. Daarna kwamen de grafische ETL-tools zoals Informatica PowerCenter en IBM DataStage. En nu zijn we weer terug bij SQL, maar dan in notebooks op platforms als Databricks.

Het gereedschap verandert, de principes blijven hetzelfde. Data moet controleerbaar, herhaalbaar en betrouwbaar geladen worden. Wie dat begrijpt, pakt een nieuwe techniek snel op. Dat merk ik bij elke overstap opnieuw.

Data warehousing

Een data warehouse moet niet alleen vandaag kloppen, maar over vijf jaar ook nog onderhoudbaar zijn. Ik heb data warehouses ontworpen en gebouwd volgens Data Vault en volgens Kimball. Ik kies de methode die past bij het vraagstuk, niet andersom.

Daarbij denk ik vooruit. Waar wilt u over een paar jaar staan? Welke bronnen komen erbij? Zo lever ik een architectuur die meegroeit, in plaats van een die na de eerste uitbreiding al knelt.

Datamigratie

Bij het migreren van data van het ene naar het andere systeem moet aantoonbaar zijn dat alle data over is gegaan. Of het nu eenmalig of periodiek gebeurt. Ik heb datamigraties uitgevoerd bij financiële instellingen en de rijksoverheid. In alle gevallen was het proces controleerbaar en verifieerbaar.

Data kan zelden één op één worden overgezet. Er zijn bijna altijd transformatieregels nodig om data uit het ene systeem bruikbaar te maken voor het andere. Ook daarvoor bouw ik oplossingen die gecontroleerd en reproduceerbaar zijn.

Databases en platforms

Ik heb onder andere gewerkt met:

  • Databases en platforms: Oracle, Microsoft SQL Server, PostgreSQL, Databricks, Snowflake, SAP HANA
  • ETL en orkestratie: SQL, Python en PySpark, SAS, Informatica PowerCenter, IBM DataStage, Airflow
  • Modelleren: PowerDesigner, Enterprise Architect, Data Vault, Kimball

Staat uw platform er niet tussen? Dan heb ik het waarschijnlijk snel onder de knie.