Aller au contenu principal

Databricks with AWS & Pyspark

00064794373

Job Title: - Databricks with AWS & Pyspark
Location: - AIA Hyderabad
Minimum 7 + years of experience

Job Summary

We are seeking a Sr. Developer with 8 to 12 years of experience to join our dynamic team. The ideal candidate will have expertise in Spark in Scala Delta Sharing and Databricks Unity Catalog Admin. This role involves working with cutting-edge technologies like Databricks CLI Delta Live Pipelines and Structured Streaming. The candidate will contribute to risk management solutions and leverage tools such as Apache Airflow Amazon S3 and Amazon Redshift. Proficiency in Python Databricks SQL


Responsibilities

  • Develop and implement scalable data processing solutions using Spark in Scala to enhance data-driven decision-making.
  • Manage and administer Databricks Unity Catalog to ensure data governance and security compliance.
  • Utilize Delta Sharing to facilitate secure and efficient data sharing across various platforms.
  • Configure and maintain Databricks CLI for seamless integration and automation of workflows.
  • Design and execute Delta Live Pipelines to streamline data ingestion and transformation processes.
  • Implement Structured Streaming solutions to handle real-time data processing and analytics.
  • Collaborate with cross-functional teams to integrate risk management strategies into data solutions.
  • Leverage Apache Airflow for orchestrating complex data workflows and ensuring timely execution.
  • Optimize data storage and retrieval using Amazon S3 and Amazon Redshift to improve performance.
  • Develop Python scripts to automate data processing tasks and enhance operational efficiency.
  • Utilize Databricks SQL for querying and analyzing large datasets to derive actionable insights.
  • Implement Databricks Delta Lake to ensure data reliability and consistency across the platform.
  • Manage Databricks Workflows to automate and streamline data engineering processes.


Qualifications

  • Possess strong expertise in Spark in Scala and Databricks Unity Catalog Admin.
  • Demonstrate proficiency in Delta Sharing and Databricks CLI for data management.
  • Have experience with Delta Live Pipelines and Structured Streaming for real-time analytics.
  • Show capability in risk management and integration with data solutions.
  • Be skilled in using Apache Airflow Amazon S3 and Amazon Redshift for data orchestration.
  • Exhibit strong Python programming skills for automation and data processing.
  • Have a solid understanding of Databricks SQL and Delta Lake for data analysis and reliability.
  • Experience with PySpark for distributed data processing is highly desirable.

À propos de Cognizant 
Cognizant (NASDAQ : CTSH) est un AI Builder et une entreprise de services numériques (ESN) élaborant des solutions complètes d’IA maximisant les investissements pour des résultats concrets. Sa profonde expertise des métiers, des processus et des technologies lui permet d’intégrer dans les systèmes technologiques le contexte unique de chaque organisation de l’ingénierie à la production à l’échelle. Son objectif : améliorer l’efficacité des équipes, créer de la valeur et permettre aux grandes entreprises de rester performantes dans un monde qui évolue rapidement. Pour en savoir plus : cognizant.ai ou @cognizant. 

Renseignments suppplémentaires sur l'emploi
Les informations relatives à la rémunération du poste à pourvoir dépendent de la date de publication de l’offre de poste. Cognizant se réserve le droit de modifier ces informations à tout moment, sous réserve des lois applicables.

Cognizant est un employeur soucieux de l'égalité des chances entre candidats. Votre candidature sera étudiée indépendamment de votre race, couleur, sexe, religion, croyances, orientation sexuelle, identité de genre, origine, handicap, informations génétiques, grossesse, statut d'ancien militaire ou de toute autre critère jugé discriminant par les lois européennes ou françaises.

Vous êtes porteur d'un handicap, vous pouvez-nous contacter par courriel [email protected] si vous souhaitez préciser les aménagements nécessaires pour le poste ou les entretiens à venir.

Les candidats peuvent être invités à participer à des entretiens en face à face ou par vidéoconférence. En outre, les candidats peuvent être amenés à présenter une carte d'identité valide lors de chaque entretien.

Des avantages sociaux qui font la différence

un dessin au trait bleu d’une plante avec des feuilles

Bien-être financier

Nous révisons régulièrement les données du marché afin d’assurer que la rémunération reflète la valeur que vous apportez. Vos avantages vont au‑delà du salaire et peuvent inclure des régimes de retraite avec cotisations de contrepartie, des formations financières, etc.

Stay Healthy Midnight Blue RGB

Bien-être physique et mental

Nous vous encourageons à prioriser votre bien‑être grâce aux congés rémunérés, au travail flexible lorsque possible, aux régimes de soins de santé, à la counseling clinique, à notre programme d’alliance en santé mentale, et plus encore.

Build The Career You Want Midnight Blue RGB

Votre carrière, à votre façon

Avec plus de 350 000 rôles chez Cognizant, vous aurez l’occasion d’explorer de nouvelles technologies, de nouveaux secteurs et de nouveaux lieux—et de développer les compétences dont vous avez besoin pour faire évoluer votre carrière.

Making A Meaningful Impact Midnight Blue RGB

Un impact concret

Pensez aux marques sur lesquelles vous comptez au quotidien. Il y a de fortes chances qu’elles comptent aussi sur nous pour renforcer leur entreprise. Ici, vous transformerez des idées audacieuses en solutions qui améliorent la vie des gens à travers le monde.

Votre parcours vers Cognizant

Voici ce à quoi vous pouvez vous attendre de notre processus de recrutement. Veuillez noter qu’il peut varier selon le poste et le lieu. Consultez notre FAQ pour en savoir plus.

une personne assise à une table à l’aide d’un ordinateur portable

Étape 1: Trouvez votre rôle et postulez

Trouvez un poste ouvert qui correspond à vos compétences et à vos objectifs de carrière, puis montrez‑nous pourquoi vous êtes la personne idéale pour ce rôle. Si aucun poste ne correspond à votre profil pour le moment, veuillez rejoindre notre communauté de talents.

une personne tenant une tablette et parlant au téléphone

Étape 2: Discutez avec un recruteur

Si l’un de nos recruteurs détermine que vous convenez au poste, il vous contactera pour organiser un court entretien visant à mieux comprendre votre parcours et vos compétences.

une personne souriante à une table avec un ordinateur portable

Étape 3: Montrez vos talents

Si vous et notre équipe souhaitent poursuivre le processus, vous rencontrerez notre équipe d’embauche. Certains postes peuvent également nécessiter des évaluations techniques et/ou des entrevues avec des clients.

un groupe de personnes assises autour d’une table

Étape 4: Décision finale

Notre équipe examinera ensuite le potentiel de chaque candidat à réussir dans le rôle. Cette étape peut prendre un peu de temps car nous voulons prendre la bonne décision—mais vous pouvez compter sur nous pour vous tenir informé(e).

Vous n’avez pas trouvé la bonne opportunité?

Recevez les dernières mises à jour sur nos offres d'emploi, nos événements de recrutement et notre actualité adaptée juste pour vous.

S'inscrire