Skill: Pyspark, AWS
Exp: 6 to 12 years
Location: Pune
Job Summary
We are seeking an experienced AWS PySpark Developer to design, develop, and optimize large-scale data processing pipelines in the cloud. The ideal candidate will have strong expertise in PySpark, AWS services, and ETL workflows, with a focus on building scalable, high-performance data solutions for analytics and reporting.
Key Responsibilities
- Design, develop, and maintain ETL pipelines using PySpark on AWS.
- Work with large datasets to perform data cleansing, transformation, and aggregation.
- Optimize Spark jobs for performance and cost efficiency.
- Integrate data from multiple sources including AWS S3, RDS, Redshift, DynamoDB, and APIs.
- Implement data quality checks and ensure compliance with governance policies.
- Collaborate with data analysts, data scientists, and business stakeholders to deliver data solutions.
- Deploy and monitor jobs using AWS Glue, EMR, Step Functions, or Lambda.
- Troubleshoot and resolve issues in production data pipelines.
- Maintain documentation for data flows, transformations, and architecture.
Required Skills & Qualifications
- 3–7 years of experience in data engineering or big data development.
- Strong proficiency in PySpark and Spark SQL.
- Hands-on experience with AWS services such as:
- S3, Glue, EMR, Lambda, Athena, Redshift, IAM
- Solid understanding of ETL concepts and data warehousing.
- Proficiency in Python for scripting and automation.
- Experience with version control (Git) and CI/CD pipelines.
- Strong problem-solving skills and ability to work in an agile environment.
Preferred Skills
- Experience with AWS Glue Studio and Glue Catalog.
- Knowledge of Airflow or other orchestration tools.
- Familiarity with streaming data using Kafka or Kinesis.
- Exposure to Terraform or CloudFormation for infrastructure as code.
- Understanding of data security and encryption in AWS.
À propos de Cognizant
Cognizant (NASDAQ : CTSH) est un AI Builder et une entreprise de services numériques (ESN) élaborant des solutions complètes d’IA maximisant les investissements pour des résultats concrets. Sa profonde expertise des métiers, des processus et des technologies lui permet d’intégrer dans les systèmes technologiques le contexte unique de chaque organisation de l’ingénierie à la production à l’échelle. Son objectif : améliorer l’efficacité des équipes, créer de la valeur et permettre aux grandes entreprises de rester performantes dans un monde qui évolue rapidement. Pour en savoir plus : cognizant.ai ou @cognizant.
Renseignments suppplémentaires sur l'emploi
Les informations sur la rémunération sont exactes à la date de publication. Cognizant se réserve le droit de modifier ces informations à tout moment, conformément aux lois applicables.
Les exigences linguistiques varient selon les postes, mais nous demandons à tous les candidats d’avoir une connaissance de base de l’anglais afin de faciliter les communications internes à l’échelle de l’entreprise. Pour les postes basés au Québec, une maîtrise de l’anglais est requise puisque vous fournirez des services et collaborerez avec des parties prenantes situées hors de la province, qui ne parlent pas nécessairement le français.
Cognizant est un employeur souscrivant au principe de l’égalité d’accès à l’emploi. Votre candidature et votre dossier ne seront pas examinés en fonction de la race, de la couleur, du sexe, de la religion, des croyances, de l'orientation sexuelle, de l'identité de genre, de l'origine nationale, du handicap, de l'information génétique, de la grossesse, du statut d'ancien combattant ou de toute autre caractéristique protégée telle que décrite par les lois fédérales, provinciales ou locales.
Si vous avez un handicap qui nécessite un aménagement raisonnable pour rechercher une offre d'emploi ou poser une candidature, envoyiez un courriel à [email protected] avec votre demande et vos coordonnées.
