Overslaan en naar de inhoud gaan

AWS Pyspark Tech Lead

00069294971

Senior Data Engineer / Technical Lead – AWS Glue & Spark Optimization

Location: Remote
Experience: 8–12 years

About Cognizant

Cognizant is a leading global professional services company, helping organizations modernize technology, reimagine processes, and transform experiences. With deep expertise in cloud, data engineering, and AI, we empower enterprises to unlock value from their data and accelerate innovation.

Role Overview

We are seeking a highly skilled Senior Data Engineer / Technical Lead with strong expertise in AWS data services and Spark optimization.

In this role, you will design, optimize, and manage scalable data pipelines using AWS Glue, PySpark, and Amazon S3, while driving DevOps practices and ensuring high-performance data processing solutions that power analytics and business insights.

Key Responsibilities

Data Engineering & Pipeline Development

  • Design and develop scalable ETL pipelines using AWS Glue, PySpark, and AWS Glue Studio
  • Automate data extraction, transformation, and loading processes for improved data accessibility and usability
  • Build and maintain efficient data models and transformation frameworks

Spark & Performance Optimization

  • Optimize Apache Spark and PySpark workloads for performance, scalability, and cost efficiency
  • Implement tuning strategies for large-scale distributed data processing

AWS Platform & Data Management

  • Manage AWS Glue Catalog to maintain structured and discoverable metadata
  • Oversee Amazon S3 storage solutions ensuring secure, scalable, and efficient data management
  • Implement best practices for data lifecycle management and storage optimization

DevOps & Automation

  • Apply AWS DevOps practices to streamline CI/CD, deployment, and operations
  • Enable automation for pipeline orchestration, monitoring, and releases
  • Ensure integration with enterprise systems and tools

Governance, Security & Compliance

  • Ensure adherence to data security, privacy, and compliance standards
  • Implement access controls, auditing, and governance policies across data platforms

Collaboration & Leadership

  • Provide technical guidance and mentorship to engineering teams
  • Foster a culture of collaboration, knowledge sharing, and continuous improvement
  • Partner with stakeholders to translate business needs into scalable technical solutions

Documentation & Quality

  • Maintain comprehensive documentation of data processes, pipelines, and architectures
  • Support transparency, troubleshooting, and long-term knowledge retention

Required Qualifications

  • Strong experience in AWS Glue (ETL, Studio, Catalog) and data pipeline development
  • Hands-on expertise in Apache Spark / PySpark optimization
  • Proficiency in Python, SQL, and data modeling concepts
  • Experience managing data storage in Amazon S3
  • Solid understanding of AWS DevOps practices and automation frameworks
  • Proven ability to build scalable, high-performance data solutions
  • Strong analytical and problem-solving skills

Preferred Qualifications

  • Experience with AWS Data Pipeline or modern orchestration frameworks
  • Familiarity with CI/CD and configuration management tools
  • Knowledge of data governance and regulatory compliance frameworks
  • Strong background in root cause analysis and defect management
  • Experience working in enterprise-scale, hybrid environments

Leadership & Professional Skills

  • Strong communication and stakeholder engagement capabilities
  • Ability to drive execution excellence and innovation
  • Demonstrated accountability and results orientation
  • Collaborative mindset with ability to build trust and influence teams
  • Adaptability to drive change and continuous improvement

Compensation

  • Base Salary Range: $120,000 – $135,000 per year
  • Final compensation will be based on experience, skills, and location
  • Eligible for performance-based bonuses and incentive compensation

Benefits

Cognizant offers a comprehensive benefits package designed to support your well-being and career growth:

  • Health & Wellness: Medical, dental, and vision insurance
  • Financial Security: 401(k) with company match, life and disability insurance
  • Time Off: Generous PTO, paid holidays, and parental leave
  • Learning & Development: Access to certifications, training programs, and career advancement opportunities
  • Flexible Work Model: Hybrid setup supporting work-life balance
  • Employee Programs: Wellness initiatives, employee resource groups, and recognition programs

Why Join Cognizant?

  • Work on modern cloud data platforms and large-scale data engineering initiatives
  • Collaborate with global clients and high-performing teams
  • Accelerate your career in a cloud-first, data-driven environment
  • Be part of a culture that values innovation, inclusion, and impact

Over Cognizant  
Cognizant (NASDAQ: CTSH) is een bouwer van AI-oplossingen en een leverancier van technologiediensten. Wij slaan de brug tussen AI-investeringen en ondernemingswaarde door het bouwen van full-stack AI-oplossingen voor onze klanten. Onze diepgaande kennis van sectoren, processen en engineering stelt ons in staat om de unieke context van een organisatie te verankeren in technologische systemen. Deze systemen versterken het menselijk potentieel, realiseren tastbare resultaten en geven wereldwijde ondernemingen een voorsprong in een snel veranderende wereld. Ontdek hoe op cognizant.ai of @cognizant.

Aanvullende arbeidsinformatie
De informatie over de beloning is correct op de datum van deze vacature. Cognizant behoudt zich het recht voor om deze informatie op elk moment te wijzigen, met inachtneming van de toepasselijke wetgeving.

Van sollicitanten kan worden verwacht dat zij gesprekken bijwonen, persoonlijk of via een videogesprek. Daarnaast kan van kandidaten worden gevraagd om tijdens elk gesprek een geldig, door de overheid uitgegeven identiteitsbewijs (zoals een identiteitskaart of paspoort) te tonen.

Cognizant is een werkgever die gelijke kansen biedt. Je sollicitatie en kandidatuur worden niet beoordeeld op basis van ras, huidskleur, geslacht, religie, levensovertuiging, seksuele geaardheid, genderidentiteit, nationale afkomst, handicap, genetische informatie, zwangerschap, veteranenstatus of enige andere eigenschap die wordt beschermd door federale, regionale of lokale wetgeving.

Arbeidsvoorwaarden die je helpen floreren en groeien

Ons arbeidsvoorwaardenprogramma is ontwikkeld met jou in gedachten — zodat je kunt genieten van een vervullend, evenwichtig en gezond leven.

a blue line drawing of a plant with leaves

Financiële gezondheid

We beoordelen regelmatig marktgegevens om ervoor te zorgen dat de beloning aansluit bij de waarde die jij toevoegt. Je arbeidsvoorwaarden gaan verder dan alleen salaris en kunnen onder meer pensioenregelingen, financiële educatie en meer omvatten.

Stay Healthy Midnight Blue RGB

Fysieke en mentale gezondheid

Wij stellen je in staat om je welzijn prioriteit te geven via betaald verlof, flexibele werktijden waar mogelijk, zorgverzekeringen, begeleiding, ons Mental Health Allyship‑programma en meer.

Build The Career You Want Midnight Blue RGB

Jouw carrière, jouw manier

Met meer dan 350.000 functies bij Cognizant krijg je de kans om nieuwe technologieën, sectoren en locaties te verkennen — en bouw je de vaardigheden op die je nodig hebt om je carrière verder te ontwikkelen.

Making A Meaningful Impact Midnight Blue RGB

Impact in de echte wereld

Denk aan de grootste merken waarop je vertrouwt. De kans is groot dat zij op ons vertrouwen om hun bedrijf te versterken. Hier zet je gedurfde ideeën om in oplossingen die overal ter wereld levens verbeteren.

Jouw pad naar Cognizant

Dit kun je verwachten van onze wervingsprocedure. Houd er rekening mee dat deze per functie en locatie kan verschillen. Bekijk onze FAQ’s voor meer informatie.

een persoon die aan een tafel zit met behulp van een laptop

Stap 1: Solliciteer op de juiste vacature

Vind een openstaande functie die aansluit bij jouw vaardigheden en carrièredoelen en laat zien waarom jij de juiste persoon bent voor de functie. Zie je geen passende vacature? Overweeg dan om je aan te sluiten bij onze Talent Community.

iemand die een tablet vasthoudt en aan de telefoon praat

Stap 2: Neem contact op met je recruiter

Als een van onze recruiters een goede match ziet, plannen zij een kort kennismakingsgesprek om meer over jou te weten te komen en te bespreken hoe jouw ervaring en vaardigheden aansluiten bij de functie.

Een persoon die bij een lijst met een laptop glimlacht

Stap 3: Laat je vaardigheden zien

Als jij en ons team het proces willen voortzetten, ga je in gesprek met ons wervingsteam. Voor sommige functies zijn daarnaast technische assessments en/of gesprekken met klanten vereist.

Een groep mensen die rond een lijst zitten

Stap 4: Tijd voor een beslissing

Ons team beoordeelt vervolgens het potentieel van elke kandidaat om succesvol te zijn in de functie. Deze stap kan wat tijd kosten, omdat we de juiste match willen vinden — zowel voor jou als voor ons — maar je kunt erop rekenen dat we je op de hoogte houden.

Heb je de juiste functie nog niet gevonden?

Ontvang de nieuwste updates over vacatures, wervingsevenementen en bedrijfsnieuws — volledig afgestemd op jou!

Blijf op de hoogte