Skill: Pyspark, AWS
Exp: 6 to 12 years
Location: Pune
Job Summary
We are seeking an experienced AWS PySpark Developer to design, develop, and optimize large-scale data processing pipelines in the cloud. The ideal candidate will have strong expertise in PySpark, AWS services, and ETL workflows, with a focus on building scalable, high-performance data solutions for analytics and reporting.
Key Responsibilities
- Design, develop, and maintain ETL pipelines using PySpark on AWS.
- Work with large datasets to perform data cleansing, transformation, and aggregation.
- Optimize Spark jobs for performance and cost efficiency.
- Integrate data from multiple sources including AWS S3, RDS, Redshift, DynamoDB, and APIs.
- Implement data quality checks and ensure compliance with governance policies.
- Collaborate with data analysts, data scientists, and business stakeholders to deliver data solutions.
- Deploy and monitor jobs using AWS Glue, EMR, Step Functions, or Lambda.
- Troubleshoot and resolve issues in production data pipelines.
- Maintain documentation for data flows, transformations, and architecture.
Required Skills & Qualifications
- 3–7 years of experience in data engineering or big data development.
- Strong proficiency in PySpark and Spark SQL.
- Hands-on experience with AWS services such as:
- S3, Glue, EMR, Lambda, Athena, Redshift, IAM
- Solid understanding of ETL concepts and data warehousing.
- Proficiency in Python for scripting and automation.
- Experience with version control (Git) and CI/CD pipelines.
- Strong problem-solving skills and ability to work in an agile environment.
Preferred Skills
- Experience with AWS Glue Studio and Glue Catalog.
- Knowledge of Airflow or other orchestration tools.
- Familiarity with streaming data using Kafka or Kinesis.
- Exposure to Terraform or CloudFormation for infrastructure as code.
- Understanding of data security and encryption in AWS.
Sobre a Cognizant
Cognizant (NASDAQ: CTSH) é uma construtora de IA e fornecedora de serviços de tecnologia, criando a ponte entre o investimento em IA e o valor para as empresas por meio do desenvolvimento de soluções de IA completas para nossos clientes. Nossa profunda experiência em setores, processos e engenharia nos permite incorporar o contexto único de cada organização em sistemas tecnológicos que potencializam a capacidade humana, geram resultados tangíveis e mantêm empresas globais à frente em um mundo em rápida transformação. Saiba mais em cognizant.ai ou @cognizant.
A Cognizant é uma empregadora que investe em equidade. Sua candidatura não será pautada em raça, cor, gênero, sexualidade, credo, origem, deficiência, gravidez ou qualquer outra característica protegida pelas leis brasileiras.
Informações adicionais de emprego
Os candidatos podem ser obrigados a comparecer a entrevistas presenciais ou por videoconferência. Além disso, os candidatos podem ser obrigados a apresentar seu documento de identificação emitido pelo estado ou governo atual durante cada entrevista.
Embora nosso sistema permita a candidatura em todos os idiomas, o(s) idioma(s) e o(s) nível(is) de proficiência exigidos para o trabalho variam. No entanto, é necessário um nível básico de inglês para fins de comunicação em toda a empresa.
A Cognizant é uma empregadora que investe em equidade. Sua candidatura não será pautada em raça, cor, gênero, sexualidade, credo, origem, deficiência, gravidez ou qualquer outra característica protegida pelas leis brasileiras.
Se você tem uma deficiência que requer adaptações razoáveis para procurar uma vaga de emprego ou enviar uma candidatura, envie um e-mail para [email protected] com sua solicitação e informações de contato.
