Job Title: - Databricks with AWS & Pyspark
Location: - AIA Hyderabad
Minimum 7 + years of experience
Job Summary
We are seeking a Sr. Developer with 8 to 12 years of experience to join our dynamic team. The ideal candidate will have expertise in Spark in Scala Delta Sharing and Databricks Unity Catalog Admin. This role involves working with cutting-edge technologies like Databricks CLI Delta Live Pipelines and Structured Streaming. The candidate will contribute to risk management solutions and leverage tools such as Apache Airflow Amazon S3 and Amazon Redshift. Proficiency in Python Databricks SQL
Responsibilities
- Develop and implement scalable data processing solutions using Spark in Scala to enhance data-driven decision-making.
- Manage and administer Databricks Unity Catalog to ensure data governance and security compliance.
- Utilize Delta Sharing to facilitate secure and efficient data sharing across various platforms.
- Configure and maintain Databricks CLI for seamless integration and automation of workflows.
- Design and execute Delta Live Pipelines to streamline data ingestion and transformation processes.
- Implement Structured Streaming solutions to handle real-time data processing and analytics.
- Collaborate with cross-functional teams to integrate risk management strategies into data solutions.
- Leverage Apache Airflow for orchestrating complex data workflows and ensuring timely execution.
- Optimize data storage and retrieval using Amazon S3 and Amazon Redshift to improve performance.
- Develop Python scripts to automate data processing tasks and enhance operational efficiency.
- Utilize Databricks SQL for querying and analyzing large datasets to derive actionable insights.
- Implement Databricks Delta Lake to ensure data reliability and consistency across the platform.
- Manage Databricks Workflows to automate and streamline data engineering processes.
Qualifications
- Possess strong expertise in Spark in Scala and Databricks Unity Catalog Admin.
- Demonstrate proficiency in Delta Sharing and Databricks CLI for data management.
- Have experience with Delta Live Pipelines and Structured Streaming for real-time analytics.
- Show capability in risk management and integration with data solutions.
- Be skilled in using Apache Airflow Amazon S3 and Amazon Redshift for data orchestration.
- Exhibit strong Python programming skills for automation and data processing.
- Have a solid understanding of Databricks SQL and Delta Lake for data analysis and reliability.
- Experience with PySpark for distributed data processing is highly desirable.
De Cognizant Community
We zijn een team dat elkaar helpt om doelen te bereiken op het hoogste niveau. Zonder ons team zouden we niet in staat zijn om de huidige energieke, samenwerkende en inclusieve werkomgeving te behouden. Een omgeving gericht om iedereen te laten slagen.
- Cognizant is een globale community van 300.000+ collega’s
- We dromen niet alleen van een betere wereld, wij helpen het te maken
- We zorgen voor onze mensen, de klanten, het bedrijf, de community en het klimaat door te doen wat goed is
- We zetten in op een innovatieve omgeving waar je zelf kan bouwen aan een carriere pad dat bij jou past.
Over ons
Cognizant (NASDAQ: CTSH) is een bouwer van AI-oplossingen en een leverancier van technologiediensten. Wij slaan de brug tussen AI-investeringen en ondernemingswaarde door het bouwen van full-stack AI-oplossingen voor onze klanten. Onze diepgaande kennis van sectoren, processen en engineering stelt ons in staat om de unieke context van een organisatie te verankeren in technologische systemen. Deze systemen versterken het menselijk potentieel, realiseren tastbaar rendement en geven wereldwijde ondernemingen een voorsprong in een snel veranderende wereld. Ontdek hoe op www.cognizant.com of @cognizant.
Cognizant is een werkgever die gelijke kansen biedt. Uw sollicitatie en kandidatuur worden niet in overweging genomen op basis van ras, huidskleur, geslacht, religie, geloofsovertuiging, seksuele geaardheid, genderidentiteit, nationale afkomst, handicap, genetische informatie, zwangerschap, veteranenstatus of enig ander kenmerk dat beschermd wordt door federale, staats- of lokale wetgeving.
Disclaimer:
De informatie omtrent compensatie is accuraat ten tijde van deze posting. Cognizant heeft het recht om deze informatie aan te passen. Met lokale wetgeving in achtneming.