Senior Azure Databricks Platform Engineer

Voor het opleveren van een veilige, schaalbare en beheersbare Databricks omgeving waarin VMM-data scientists kunnen samenwerken aan code, modellen kunnen ontwikkelen en draaien, data kunnen genereren, beheren en opslaan, en AI-functionaliteiten verantwoord kunnen toepassen is de organisatie op zoek naar een profiel Senior Azure Databricks Engineer / Azure Databricks Platform Architect.

De Azure Databricks Engineer staat in voor het ontwerp, de technische uitrol en de initiële inrichting van een nieuwe Azure Databricks omgeving binnen een door het Cloud Infra Team klaargezette Azure-subscriptie. Hij/zij vertaalt de platformnoden van de data scientists naar een robuuste Azure- en Databricks-inrichting en zorgt ervoor dat deze omgeving reproduceerbaar wordt uitgerold via Terraform.

Het profiel combineert diepgaande Azure-kennis met praktische Databricks-ervaring, sterke Infrastructure as Code-competenties en voldoende kennis van AI/ML-platformvereisten om data scientists professioneel te ondersteunen.

Verwachte deliverables:

• Een operationele Azure Databricks omgeving binnen de voorziene Azure-subscriptie.
• Terraform-code en bijhorende documentatie voor reproduceerbare platformuitrol.
• Ingerichte Databricks Workspaces, compute policies, repositories, jobs/workflows en toegangsmodellen.
• Integratie met Azure Data Lake Storage Gen2 en relevante Azure-resources.
• Basisvoorzieningen voor AI/ML-workloads
• Logging, monitoring, auditbaarheid en kostenbeheersingsmaatregelen.
• Technische documentatie, architectuurbeschrijving, runbook en kennisoverdracht aan de organisatie.

Algemeen:

• Er wordt gewerkt binnen een Agile omgeving.
• De prestaties zijn deels te leveren in de lokalen van de organisatie te Aalst tussen 8u30 en 17u (in overleg te bekijken).
• De organisatie voorziet de nodige licenties, software en netwerktoegangen voor het uitvoeren van de opdracht. De organisatie voorziet niet in een office-licentie. De software van Office 365 kan door de organisatie ter beschikking gesteld worden, maar dan zonder licentie. De inschrijver dient zijn eigen bedrijfslicentie te gebruiken. Als alternatief kan LibreOffice ter beschikking gesteld worden.

Je werkt als Azure Databricks Engineer voor de dienst Digitale Oplossingen van de organisatie. De organisatie is een agentschap van de Vlaamse overheid, beleidsdomein Omgeving.

De organisatie is jouw oplossingsgerichte partner voor een klimaatbestendige leefomgeving. Het is de opdracht van de organisatie om voor de huidige en toekomstige generaties in Vlaanderen:

• proper, aantrekkelijk en voldoende water te waarborgen,
• gezonde lucht te bewerkstelligen,
• de klimaatadaptatie mee te sturen.

De organisatie telt ongeveer 750 werknemers en zit verspreid over diverse locaties in Vlaanderen.

Vaardigheden

• Aantoonbare ervaring met het opzetten en configureren van Azure Databricks Workspaces
• Aantoonbaar inzicht in AI/ML en data science platformvereisten
• Aantoonbare ervaring met het uitrollen van Azure Databricks-platformen via Terraform (Infrastructure as Code)
• Kennis van organisatie en ervaring in opdrachten van de overheid of specifiek de organisatie en met de technische standaarden binnen de organisatie
• Aantoonbare ervaring als Data Engineer senior (5 jaar)
• Aantoonbare ervaring met programmeertalen zoals Python, Java of Scala voor het ontwikkelen van datastromen en ETL-processen
• In het bezit van een Databricks certificaat
• Taalvereiste: Nederlandstalig op Europees CEFR - niveau C2.
• Aantoonbare ervaring in het ontwerpen en implementeren van Extract, Transform, Load (ETL) processen
• Aantoonbare ervaring met databanken
• Aantoonbare ervaring met CI/CD voor Databricks en Terraform via GitHub of Azure DevOps
• Aantoonbare kennis van Azure Data Lake Storage Gen2