Passer au contenu principal

AWS Pyspark Tech Lead

00069294971

Senior Data Engineer / Technical Lead – AWS Glue & Spark Optimization

Location: Remote
Experience: 8–12 years

About Cognizant

Cognizant is a leading global professional services company, helping organizations modernize technology, reimagine processes, and transform experiences. With deep expertise in cloud, data engineering, and AI, we empower enterprises to unlock value from their data and accelerate innovation.

Role Overview

We are seeking a highly skilled Senior Data Engineer / Technical Lead with strong expertise in AWS data services and Spark optimization.

In this role, you will design, optimize, and manage scalable data pipelines using AWS Glue, PySpark, and Amazon S3, while driving DevOps practices and ensuring high-performance data processing solutions that power analytics and business insights.

Key Responsibilities

Data Engineering & Pipeline Development

  • Design and develop scalable ETL pipelines using AWS Glue, PySpark, and AWS Glue Studio
  • Automate data extraction, transformation, and loading processes for improved data accessibility and usability
  • Build and maintain efficient data models and transformation frameworks

Spark & Performance Optimization

  • Optimize Apache Spark and PySpark workloads for performance, scalability, and cost efficiency
  • Implement tuning strategies for large-scale distributed data processing

AWS Platform & Data Management

  • Manage AWS Glue Catalog to maintain structured and discoverable metadata
  • Oversee Amazon S3 storage solutions ensuring secure, scalable, and efficient data management
  • Implement best practices for data lifecycle management and storage optimization

DevOps & Automation

  • Apply AWS DevOps practices to streamline CI/CD, deployment, and operations
  • Enable automation for pipeline orchestration, monitoring, and releases
  • Ensure integration with enterprise systems and tools

Governance, Security & Compliance

  • Ensure adherence to data security, privacy, and compliance standards
  • Implement access controls, auditing, and governance policies across data platforms

Collaboration & Leadership

  • Provide technical guidance and mentorship to engineering teams
  • Foster a culture of collaboration, knowledge sharing, and continuous improvement
  • Partner with stakeholders to translate business needs into scalable technical solutions

Documentation & Quality

  • Maintain comprehensive documentation of data processes, pipelines, and architectures
  • Support transparency, troubleshooting, and long-term knowledge retention

Required Qualifications

  • Strong experience in AWS Glue (ETL, Studio, Catalog) and data pipeline development
  • Hands-on expertise in Apache Spark / PySpark optimization
  • Proficiency in Python, SQL, and data modeling concepts
  • Experience managing data storage in Amazon S3
  • Solid understanding of AWS DevOps practices and automation frameworks
  • Proven ability to build scalable, high-performance data solutions
  • Strong analytical and problem-solving skills

Preferred Qualifications

  • Experience with AWS Data Pipeline or modern orchestration frameworks
  • Familiarity with CI/CD and configuration management tools
  • Knowledge of data governance and regulatory compliance frameworks
  • Strong background in root cause analysis and defect management
  • Experience working in enterprise-scale, hybrid environments

Leadership & Professional Skills

  • Strong communication and stakeholder engagement capabilities
  • Ability to drive execution excellence and innovation
  • Demonstrated accountability and results orientation
  • Collaborative mindset with ability to build trust and influence teams
  • Adaptability to drive change and continuous improvement

Compensation

  • Base Salary Range: $120,000 – $135,000 per year
  • Final compensation will be based on experience, skills, and location
  • Eligible for performance-based bonuses and incentive compensation

Benefits

Cognizant offers a comprehensive benefits package designed to support your well-being and career growth:

  • Health & Wellness: Medical, dental, and vision insurance
  • Financial Security: 401(k) with company match, life and disability insurance
  • Time Off: Generous PTO, paid holidays, and parental leave
  • Learning & Development: Access to certifications, training programs, and career advancement opportunities
  • Flexible Work Model: Hybrid setup supporting work-life balance
  • Employee Programs: Wellness initiatives, employee resource groups, and recognition programs

Why Join Cognizant?

  • Work on modern cloud data platforms and large-scale data engineering initiatives
  • Collaborate with global clients and high-performing teams
  • Accelerate your career in a cloud-first, data-driven environment
  • Be part of a culture that values innovation, inclusion, and impact

À propos de Cognizant 
Cognizant (NASDAQ : CTSH) est un AI Builder et une entreprise de services numériques (ESN) élaborant des solutions complètes d’IA maximisant les investissements pour des résultats concrets. Sa profonde expertise des métiers, des processus et des technologies lui permet d’intégrer dans les systèmes technologiques le contexte unique de chaque organisation de l’ingénierie à la production à l’échelle. Son objectif : améliorer l’efficacité des équipes, créer de la valeur et permettre aux grandes entreprises de rester performantes dans un monde qui évolue rapidement. Pour en savoir plus : cognizant.ai ou @cognizant. 

 

Renseignments suppplémentaires sur l'emploi
Les informations sur la rémunération sont exactes à la date de publication. Cognizant se réserve le droit de modifier ces informations à tout moment, conformément aux lois applicables.

Les exigences linguistiques varient selon les postes, mais nous demandons à tous les candidats d’avoir une connaissance de base de l’anglais afin de faciliter les communications internes à l’échelle de l’entreprise. Pour les postes basés au Québec, une maîtrise de l’anglais est requise puisque vous fournirez des services et collaborerez avec des parties prenantes situées hors de la province, qui ne parlent pas nécessairement le français. 

Cognizant est un employeur souscrivant au principe de l’égalité d’accès à l’emploi. Votre candidature et votre dossier ne seront pas examinés en fonction de la race, de la couleur, du sexe, de la religion, des croyances, de l'orientation sexuelle, de l'identité de genre, de l'origine nationale, du handicap, de l'information génétique, de la grossesse, du statut d'ancien combattant ou de toute autre caractéristique protégée telle que décrite par les lois fédérales, provinciales ou locales.

Si vous avez un handicap qui nécessite un aménagement raisonnable pour rechercher une offre d'emploi ou poser une candidature, envoyiez un courriel à [email protected] avec votre demande et vos coordonnées.

Des avantages sociaux qui font la différence

Notre programme d’avantages sociaux est conçu en pensant à vous—afin que vous puissiez profiter d’une vie équilibrée, saine et épanouissante.

un dessin au trait bleu d’une plante à feuilles

Bien-être financier

Nous révisons régulièrement les données du marché afin d’assurer que la rémunération reflète la valeur que vous apportez. Vos avantages vont au‑delà du salaire et peuvent inclure des régimes de retraite avec cotisations de contrepartie, des formations financières, etc.

Stay Healthy Midnight Blue RGB

Bien-être physique et mental

Nous vous encourageons à prioriser votre bien‑être grâce aux congés rémunérés, au travail flexible lorsque possible, aux régimes de soins de santé, à la counseling clinique, à notre programme d’alliance en santé mentale, et plus encore.

Build The Career You Want Midnight Blue RGB

Votre carrière, à votre façon

Avec plus de 350 000 rôles chez Cognizant, vous aurez l’occasion d’explorer de nouvelles technologies, de nouveaux secteurs et de nouveaux lieux—et de développer les compétences dont vous avez besoin pour faire évoluer votre carrière.

Making A Meaningful Impact Midnight Blue RGB

Un impact concret

Pensez aux marques sur lesquelles vous comptez au quotidien. Il y a de fortes chances qu’elles comptent aussi sur nous pour renforcer leur entreprise. Ici, vous transformerez des idées audacieuses en solutions qui améliorent la vie des gens à travers le monde.

Votre parcours vers Cognizant

Voici ce à quoi vous pouvez vous attendre de notre processus de recrutement. Veuillez noter qu’il peut varier selon le poste et le lieu. Consultez notre FAQ pour en savoir plus.

une personne assise à une table à l’aide d’un ordinateur portable

Étape 1: Trouvez votre rôle et postulez

Trouvez un poste ouvert qui correspond à vos compétences et à vos objectifs de carrière, puis montrez‑nous pourquoi vous êtes la personne idéale pour ce rôle. Si aucun poste ne correspond à votre profil pour le moment, veuillez rejoindre notre communauté de talents.

une personne tenant une tablette et parlant au téléphone

Étape 2: Discutez avec un recruteur

Si l’un de nos recruteurs détermine que vous convenez au poste, il vous contactera pour organiser un court entretien visant à mieux comprendre votre parcours et vos compétences.

une personne souriant à une table avec un ordinateur portable

Étape 3: Montrez vos talents

Si vous et notre équipe souhaitent poursuivre le processus, vous rencontrerez notre équipe d’embauche. Certains postes peuvent également nécessiter des évaluations techniques et/ou des entrevues avec des clients.

un groupe de personnes assises autour d’une table

Étape 4: Décision finale

Notre équipe examinera ensuite le potentiel de chaque candidat à réussir dans le rôle. Cette étape peut prendre un peu de temps car nous voulons prendre la bonne décision—mais vous pouvez compter sur nous pour vous tenir informé(e).

CAN Brigitte
 Cognizant est un excellent choix pour ceux et celles qui souhaitent contribuer à rendre le monde meilleur, car nous créons des solutions avec des partenaires technologiques de premier plan pour relever des défis complexes pour nos clients.
Brigitte Roy Directrice des alliances stratégiques
CAN Rahul
 Je suis soutenu par des leaders inspirants qui m’encouragent à évoluer dans ma carrière grâce à des formations, des conférences sectorielles et des opportunités de mobilité interne. Je suis fier de mon parcours ici.
Rahul Sathe Architecte principal de produits – assurance
Can Amita
 Dès mon premier jour chez Cognizant, j’ai senti que j’avais ma place. J’ai été écoutée et encouragée à remettre en question les idées—et c’est toujours le cas aujourd’hui.
Dr. Amita Oppal Gill Responsible de ventes
1 (2)
 Cognizant possède l’un des meilleurs écosystèmes d’apprentissage. Entre les certifications financées par l’entreprise, les plateformes de formation et le mentorat, nous avons tout ce qu’il nous faut pour faire grandir notre carrière.
Debashish Mishra Développeur SAP MM

Vous n’avez pas trouvé la bonne opportunité?

Recevez les dernières mises à jour sur nos offres d'emploi, nos événements de recrutement et notre actualité adaptée juste pour vous.

S'inscrire