Job Title: - Databricks with AWS & Pyspark
Location: - AIA Hyderabad
Minimum 7 + years of experience
Job Summary
We are seeking a Sr. Developer with 8 to 12 years of experience to join our dynamic team. The ideal candidate will have expertise in Spark in Scala Delta Sharing and Databricks Unity Catalog Admin. This role involves working with cutting-edge technologies like Databricks CLI Delta Live Pipelines and Structured Streaming. The candidate will contribute to risk management solutions and leverage tools such as Apache Airflow Amazon S3 and Amazon Redshift. Proficiency in Python Databricks SQL
Responsibilities
- Develop and implement scalable data processing solutions using Spark in Scala to enhance data-driven decision-making.
- Manage and administer Databricks Unity Catalog to ensure data governance and security compliance.
- Utilize Delta Sharing to facilitate secure and efficient data sharing across various platforms.
- Configure and maintain Databricks CLI for seamless integration and automation of workflows.
- Design and execute Delta Live Pipelines to streamline data ingestion and transformation processes.
- Implement Structured Streaming solutions to handle real-time data processing and analytics.
- Collaborate with cross-functional teams to integrate risk management strategies into data solutions.
- Leverage Apache Airflow for orchestrating complex data workflows and ensuring timely execution.
- Optimize data storage and retrieval using Amazon S3 and Amazon Redshift to improve performance.
- Develop Python scripts to automate data processing tasks and enhance operational efficiency.
- Utilize Databricks SQL for querying and analyzing large datasets to derive actionable insights.
- Implement Databricks Delta Lake to ensure data reliability and consistency across the platform.
- Manage Databricks Workflows to automate and streamline data engineering processes.
Qualifications
- Possess strong expertise in Spark in Scala and Databricks Unity Catalog Admin.
- Demonstrate proficiency in Delta Sharing and Databricks CLI for data management.
- Have experience with Delta Live Pipelines and Structured Streaming for real-time analytics.
- Show capability in risk management and integration with data solutions.
- Be skilled in using Apache Airflow Amazon S3 and Amazon Redshift for data orchestration.
- Exhibit strong Python programming skills for automation and data processing.
- Have a solid understanding of Databricks SQL and Delta Lake for data analysis and reliability.
- Experience with PySpark for distributed data processing is highly desirable.
A comunidade Cognizant:
Somos uma equipe de alto calibre que aprecia e apoia uns aos outros. Nosso pessoal defende um local de trabalho enérgico, colaborativo e inclusivo, onde todos possam prosperar.
- A Cognizant é uma comunidade global com mais de 300,000 funcionários em todo o mundo.
- Não sonhamos apenas com um caminho melhor – nós fazemos acontecer.
- Cuidamos de nossas pessoas, clientes, empresa, comunidades e clima fazendo o que é certo.
- Promovemos um ambiente inovador onde você pode construir o plano de carreira certo para você.
Quem somos:
Cognizant (NASDAQ: CTSH) é uma construtora de IA e fornecedora de serviços de tecnologia, criando a ponte entre o investimento em IA e o valor para as empresas por meio do desenvolvimento de soluções de IA completas para nossos clientes. Nossa profunda experiência em setores, processos e engenharia nos permite incorporar o contexto único de cada organização em sistemas tecnológicos que potencializam a capacidade humana, geram retornos concretos e mantêm empresas globais à frente em um mundo em rápida transformação. Saiba mais em www.cognizant.com ou @cognizant.
A Cognizant é uma empregadora que investe em equidade. Sua candidatura não será pautada em raça, cor, gênero, sexualidade, credo, origem, deficiência, gravidez ou qualquer outra característica protegida pelas leis brasileiras.
Disclaimer:
As informações de compensação são precisas a partir da data desta publicação. A Cognizant se reserva o direito de modificar essas informações a qualquer momento, sujeito à lei aplicável.
Os candidatos podem ser obrigados a comparecer a entrevistas presenciais ou por videoconferência. Além disso, os candidatos podem ser obrigados a apresentar seu documento de identificação emitido pelo estado ou governo atual durante cada entrevista.
Embora nosso sistema permita a candidatura em todos os idiomas, o(s) idioma(s) e o(s) nível(is) de proficiência exigidos para o trabalho variam. No entanto, é necessário um nível básico de inglês para fins de comunicação em toda a empresa.
Se você tem uma deficiência que requer adaptações razoáveis para procurar uma vaga de emprego ou enviar uma candidatura, envie um e-mail para [email protected] com sua solicitação e informações de contato.