Data Platform Engineering Lead
Level: M / SA
Role Overview
A hands-on technical lead responsible for building AI-ready enterprise data platforms, including scalable pipelines, lakehouse architectures, and governed data foundations that enable model training, evaluation, and inference. The role extends to backend services and integration layers that expose curated datasets, feature stores, and data products for AI/ML and LLM-driven applications.
Key Responsibilities
1. Build & Deploy Data Platform Solutions
· Design and develop data pipelines for batch and streaming workloads using Python and Spark/PySpark
· Build and manage AI-ready datasets, feature pipelines, and training data foundations
· Develop backend services and APIs (Python – FastAPI or equivalent) to expose data products
· Implement microservices and event-driven architectures for data ingestion, processing, and serving
· Ensure the platform is scalable, performant, and maintainable
· Mentor engineers on data engineering patterns and best practices.
2. Enable AI/ML & LLM Integration
· Develop AI-ready pipelines for model training, evaluation, and inference
· Enable feature store capabilities and reproducible datasets
· Support integration with LLM/AI services (RAG, embeddings, inference APIs)
· Enable data-to-AI pipelines including vectorization and retrieval workflows.
3. Oversee Implementation on Cloud Infrastructure
· Collaborate with infra teams on Azure, AWS, or GCP
· Build and integrate data lakes, lake-houses, SQL/NoSQL systems
· Enable integration between data platforms and AI/ML systems
· Implement containerized and serverless architectures.
4. Implement Modern Software Engineering Practices
· Implement CI/CD pipelines and observability
· Define and enforce data quality frameworks
· Support metadata, lineage, and governance
· Optimize platform performance, reliability, and scalability.
Required Capabilities / Skills / Experience
· 8+ years in data engineering and backend development
· Strong Python, APIs, and microservices experience
· Deep experience in Spark/PySpark or equivalent
· Expertise in ETL/ELT pipelines and lakehouse architectures
· Experience with feature stores and AI-ready datasets
· Experience with Azure/AWS/GCP
· Familiarity with Docker, Kubernetes, CI/CD
· Familiarity with LLM/GenAI integration patterns
· Familiarity with metadata and governance tooling
· Strong system design and problem-solving skills.
De Cognizant Community
We zijn een team dat elkaar helpt om doelen te bereiken op het hoogste niveau. Zonder ons team zouden we niet in staat zijn om de huidige energieke, samenwerkende en inclusieve werkomgeving te behouden. Een omgeving gericht om iedereen te laten slagen.
- Cognizant is een globale community van 300.000+ collega’s
- We dromen niet alleen van een betere wereld, wij helpen het te maken
- We zorgen voor onze mensen, de klanten, het bedrijf, de community en het klimaat door te doen wat goed is
- We zetten in op een innovatieve omgeving waar je zelf kan bouwen aan een carriere pad dat bij jou past.
Over ons
Cognizant (NASDAQ: CTSH) is een bouwer van AI-oplossingen en een leverancier van technologiediensten. Wij slaan de brug tussen AI-investeringen en ondernemingswaarde door het bouwen van full-stack AI-oplossingen voor onze klanten. Onze diepgaande kennis van sectoren, processen en engineering stelt ons in staat om de unieke context van een organisatie te verankeren in technologische systemen. Deze systemen versterken het menselijk potentieel, realiseren tastbaar rendement en geven wereldwijde ondernemingen een voorsprong in een snel veranderende wereld. Ontdek hoe op www.cognizant.com of @cognizant.
Cognizant is een werkgever die gelijke kansen biedt. Uw sollicitatie en kandidatuur worden niet in overweging genomen op basis van ras, huidskleur, geslacht, religie, geloofsovertuiging, seksuele geaardheid, genderidentiteit, nationale afkomst, handicap, genetische informatie, zwangerschap, veteranenstatus of enig ander kenmerk dat beschermd wordt door federale, staats- of lokale wetgeving.
Disclaimer:
De informatie omtrent compensatie is accuraat ten tijde van deze posting. Cognizant heeft het recht om deze informatie aan te passen. Met lokale wetgeving in achtneming.