Passer au contenu principal

Databricks with AWS & Pyspark

00064794373

Job Title: - Databricks with AWS & Pyspark
Location: - AIA Hyderabad
Minimum 7 + years of experience

Job Summary

We are seeking a Sr. Developer with 8 to 12 years of experience to join our dynamic team. The ideal candidate will have expertise in Spark in Scala Delta Sharing and Databricks Unity Catalog Admin. This role involves working with cutting-edge technologies like Databricks CLI Delta Live Pipelines and Structured Streaming. The candidate will contribute to risk management solutions and leverage tools such as Apache Airflow Amazon S3 and Amazon Redshift. Proficiency in Python Databricks SQL


Responsibilities

  • Develop and implement scalable data processing solutions using Spark in Scala to enhance data-driven decision-making.
  • Manage and administer Databricks Unity Catalog to ensure data governance and security compliance.
  • Utilize Delta Sharing to facilitate secure and efficient data sharing across various platforms.
  • Configure and maintain Databricks CLI for seamless integration and automation of workflows.
  • Design and execute Delta Live Pipelines to streamline data ingestion and transformation processes.
  • Implement Structured Streaming solutions to handle real-time data processing and analytics.
  • Collaborate with cross-functional teams to integrate risk management strategies into data solutions.
  • Leverage Apache Airflow for orchestrating complex data workflows and ensuring timely execution.
  • Optimize data storage and retrieval using Amazon S3 and Amazon Redshift to improve performance.
  • Develop Python scripts to automate data processing tasks and enhance operational efficiency.
  • Utilize Databricks SQL for querying and analyzing large datasets to derive actionable insights.
  • Implement Databricks Delta Lake to ensure data reliability and consistency across the platform.
  • Manage Databricks Workflows to automate and streamline data engineering processes.


Qualifications

  • Possess strong expertise in Spark in Scala and Databricks Unity Catalog Admin.
  • Demonstrate proficiency in Delta Sharing and Databricks CLI for data management.
  • Have experience with Delta Live Pipelines and Structured Streaming for real-time analytics.
  • Show capability in risk management and integration with data solutions.
  • Be skilled in using Apache Airflow Amazon S3 and Amazon Redshift for data orchestration.
  • Exhibit strong Python programming skills for automation and data processing.
  • Have a solid understanding of Databricks SQL and Delta Lake for data analysis and reliability.
  • Experience with PySpark for distributed data processing is highly desirable.

À propos de Cognizant
Cognizant (NASDAQ: CTSH) est un AI Builder et une entreprise de services numériques (ESN) élaborant des solutions complètes d’IA maximisant les investissements pour des résultats concrets. Sa profonde expertise des métiers, des processus et des technologies lui permet d’intégrer dans les systèmes technologiques le contexte unique de chaque organisation de l’ingénierie à la production à l’échelle. Son objectif: améliorer l’efficacité des équipes, créer de la valeur et permettre aux grandes entreprises de rester performantes dans un monde qui évolue rapidement. Pour en savoir plus: cognizant.ai ou @cognizant. 

 

À savoir avant de postuler

  • Autorisation de travail: Cognizant ne prendra en considération que les candidats à ce poste qui sont légalement autorisés à travailler au Canada sans avoir besoin d'un parrainage de l'employeur, aujourd'hui ou à l'avenir.
  • Mesures d’adaptation: Si vous avez un handicap qui nécessite des mesures d’adaptation raisonnable pour effectuer une recherche d’emploi ou poser une candidature, veuillez envoyer un courriel à [email protected] avec votre demande et vos coordonnées.
  • L’IA dans notre processus de recrutement: Nous utilisons des outils d'intelligence artificielle (IA) pour trier et évaluer les candidatures efficacement. Notre équipe examine ensuite les candidatures et décide qui passe à l’étape suivante.
  • Poste à pourvoir: Sauf indication contraire, ce poste est actuellement vacant et nous cherchons à le pourvoir.
  • Exigences linguistiques: Nous demandons à tous les candidats de posséder une connaissance de base de l’anglais afin de faciliter les communications internes. Pour les postes au Québec, la capacité à communiquer efficacement en anglais est requise car vous fournirez des services à et collaborerez avec des parties prenantes anglophones situées hors de la province.
  • Inclusion: Cognizant est un employeur souscrivant au principe de l’égalité d’accès à l’emploi. Votre candidature et votre dossier ne seront pas examinés en fonction de la race, de la couleur, du sexe, de la religion, des croyances, de l'orientation sexuelle, de l'identité de genre, de l'origine nationale, du handicap, des renseignements génétiques, de la grossesse, du statut d'ancien combattant ou de toute autre caractéristique protégée par les lois fédérales, provinciales ou locales.

Des avantages sociaux qui font la différence

Notre programme d’avantages sociaux est conçu en pensant à vous—afin que vous puissiez profiter d’une vie équilibrée, saine et épanouissante.

un dessin au trait bleu d’une plante à feuilles

Bien-être financier

Nous révisons régulièrement les données du marché afin d’assurer que la rémunération reflète la valeur que vous apportez. Vos avantages vont au‑delà du salaire et peuvent inclure des régimes de retraite avec cotisations de contrepartie, des formations financières, etc.

Stay Healthy Midnight Blue RGB

Bien-être physique et mental

Nous vous encourageons à prioriser votre bien‑être grâce aux congés rémunérés, au travail flexible lorsque possible, aux régimes de soins de santé, à la counseling clinique, à notre programme d’alliance en santé mentale, et plus encore.

Build The Career You Want Midnight Blue RGB

Votre carrière, à votre façon

Avec plus de 350 000 rôles chez Cognizant, vous aurez l’occasion d’explorer de nouvelles technologies, de nouveaux secteurs et de nouveaux lieux—et de développer les compétences dont vous avez besoin pour faire évoluer votre carrière.

Making A Meaningful Impact Midnight Blue RGB

Un impact concret

Pensez aux marques sur lesquelles vous comptez au quotidien. Il y a de fortes chances qu’elles comptent aussi sur nous pour renforcer leur entreprise. Ici, vous transformerez des idées audacieuses en solutions qui améliorent la vie des gens à travers le monde.

Votre parcours vers Cognizant

Voici ce à quoi vous pouvez vous attendre de notre processus de recrutement. Veuillez noter qu’il peut varier selon le poste et le lieu. Consultez notre FAQ pour en savoir plus.

une personne assise à une table à l’aide d’un ordinateur portable

Étape 1: Trouvez votre rôle et postulez

Trouvez un poste ouvert qui correspond à vos compétences et à vos objectifs de carrière, puis montrez‑nous pourquoi vous êtes la personne idéale pour ce rôle. Si aucun poste ne correspond à votre profil pour le moment, veuillez rejoindre notre communauté de talents.

une personne tenant une tablette et parlant au téléphone

Étape 2: Discutez avec un recruteur

Si l’un de nos recruteurs détermine que vous convenez au poste, il vous contactera pour organiser un court entretien visant à mieux comprendre votre parcours et vos compétences.

une personne souriant à une table avec un ordinateur portable

Étape 3: Montrez vos talents

Si vous et notre équipe souhaitent poursuivre le processus, vous rencontrerez notre équipe d’embauche. Certains postes peuvent également nécessiter des évaluations techniques et/ou des entrevues avec des clients.

un groupe de personnes assises autour d’une table

Étape 4: Décision finale

Notre équipe examinera ensuite le potentiel de chaque candidat à réussir dans le rôle. Cette étape peut prendre un peu de temps car nous voulons prendre la bonne décision—mais vous pouvez compter sur nous pour vous tenir informé(e).

CAN Brigitte
 Cognizant est un excellent choix pour ceux et celles qui souhaitent contribuer à rendre le monde meilleur, car nous créons des solutions avec des partenaires technologiques de premier plan pour relever des défis complexes pour nos clients.
Brigitte Roy Directrice des alliances stratégiques
CAN Rahul
 Je suis soutenu par des leaders inspirants qui m’encouragent à évoluer dans ma carrière grâce à des formations, des conférences sectorielles et des opportunités de mobilité interne. Je suis fier de mon parcours ici.
Rahul Sathe Architecte principal de produits – assurance
Can Amita
 Dès mon premier jour chez Cognizant, j’ai senti que j’avais ma place. J’ai été écoutée et encouragée à remettre en question les idées—et c’est toujours le cas aujourd’hui.
Dr. Amita Oppal Gill Responsible de ventes
1 (2)
 Cognizant possède l’un des meilleurs écosystèmes d’apprentissage. Entre les certifications financées par l’entreprise, les plateformes de formation et le mentorat, nous avons tout ce qu’il nous faut pour faire grandir notre carrière.
Debashish Mishra Développeur SAP MM

Vous n’avez pas trouvé la bonne opportunité?

Recevez les dernières mises à jour sur nos offres d'emploi, nos événements de recrutement et notre actualité adaptée juste pour vous.

S'inscrire