Databricks with AWS & Pyspark

Job Title: - Databricks with AWS & Pyspark
Location: - AIA Hyderabad
Minimum 7 + years of experience

Job Summary

We are seeking a Sr. Developer with 8 to 12 years of experience to join our dynamic team. The ideal candidate will have expertise in Spark in Scala Delta Sharing and Databricks Unity Catalog Admin. This role involves working with cutting-edge technologies like Databricks CLI Delta Live Pipelines and Structured Streaming. The candidate will contribute to risk management solutions and leverage tools such as Apache Airflow Amazon S3 and Amazon Redshift. Proficiency in Python Databricks SQL

Responsibilities

• Develop and implement scalable data processing solutions using Spark in Scala to enhance data-driven decision-making.
• Manage and administer Databricks Unity Catalog to ensure data governance and security compliance.
• Utilize Delta Sharing to facilitate secure and efficient data sharing across various platforms.
• Configure and maintain Databricks CLI for seamless integration and automation of workflows.
• Design and execute Delta Live Pipelines to streamline data ingestion and transformation processes.
• Implement Structured Streaming solutions to handle real-time data processing and analytics.
• Collaborate with cross-functional teams to integrate risk management strategies into data solutions.
• Leverage Apache Airflow for orchestrating complex data workflows and ensuring timely execution.
• Optimize data storage and retrieval using Amazon S3 and Amazon Redshift to improve performance.
• Develop Python scripts to automate data processing tasks and enhance operational efficiency.
• Utilize Databricks SQL for querying and analyzing large datasets to derive actionable insights.
• Implement Databricks Delta Lake to ensure data reliability and consistency across the platform.
• Manage Databricks Workflows to automate and streamline data engineering processes.

Qualifications

• Possess strong expertise in Spark in Scala and Databricks Unity Catalog Admin.
• Demonstrate proficiency in Delta Sharing and Databricks CLI for data management.
• Have experience with Delta Live Pipelines and Structured Streaming for real-time analytics.
• Show capability in risk management and integration with data solutions.
• Be skilled in using Apache Airflow Amazon S3 and Amazon Redshift for data orchestration.
• Exhibit strong Python programming skills for automation and data processing.
• Have a solid understanding of Databricks SQL and Delta Lake for data analysis and reliability.
• Experience with PySpark for distributed data processing is highly desirable.

Ce que nous offrons

• La possibilité d’avoir une carrière avec un impact. Ici, vous avez la possibilité de partager vos idées transformatrices pour aider notre entreprise et nos clients à améliorer le quotidien de tous.
• Prenez votre carrière en main grâce à notre écosystème d'apprentissage et de développement. Et lorsque vos ambitions changent ou que nous vous offrons de nouvelles occasions, nous vous aidons à pivoter en vous proposant des formations et des conseils pour trouver des postes qui pourraient mieux vous convenir.
• L’occasion de s'épanouir au sein d’une communauté diversifiée. Nous célébrons les expériences et perspectives d’autrui et encourageons un sentiment d'appartenance à travers nos groupes d'affinité et nos initiatives en matière de diversité et d'inclusion.
• Rémunération compétitive qui comprend un salaire concurrentiel et une pension avec des contributions équivalentes.
• Des prestations de soins de santé et financières flexibles pour vous soutenir, ainsi que vos personnes à charge admissibles, dès le premier jour au travail.
• Une vraie conciliation travail-vie personnelle. Nous offrons des vacances, des modalités de travail flexibles, des occasions de bénévolat, des événements sociaux et bien d’autres afin que vous puissiez être au mieux.

À propos de nous
Cognizant (NASDAQ : CTSH) est un concepteur d’IA et un fournisseur de services technologiques. Avec notre gamme de solutions IA full-stack, nous accompagnons nos clients au carrefour de l’investissement dans l’IA et de la valeur ajoutée. Notre grande expertise sectorielle, des processus et de l’ingénierie nous permet de convertir le contexte propre à chaque entreprise en systèmes technologiques amplificateurs du potentiel humain, générateurs de résultats tangibles et garants de l’avantage des acteurs internationaux dans un monde en constante évolution. Découvrez notre méthode sur www.cognizant.com ou suivez @cognizant.

Renseignments suppplémentaires sur l'emploi
Cognizant est un employeur souscrivant au principe de l’égalité d’accès à l’emploi. Votre candidature et votre dossier ne seront pas examinés en fonction de la race, de la couleur, du sexe, de la religion, des croyances, de l'orientation sexuelle, de l'identité de genre, de l'origine nationale, du handicap, de l'information génétique, de la grossesse, du statut d'ancien combattant ou de toute autre caractéristique protégée telle que décrite par les lois fédérales, provinciales ou locales.

Si vous avez un handicap qui nécessite un aménagement raisonnable pour rechercher une offre d'emploi ou poser une candidature, envoyiez un courriel à [email protected] avec votre demande et vos coordonnées.

Les exigences linguistiques varient selon les postes, mais nous demandons à tous les candidats d’avoir une connaissance de base de l’anglais afin de faciliter les communications internes à l’échelle de l’entreprise. Pour les postes basés au Québec, une maîtrise de l’anglais est requise puisque vous fournirez des services et collaborerez avec des parties prenantes situées hors de la province, qui ne parlent pas nécessairement le français.