Job Title: - Databricks with AWS & Pyspark
Location: - AIA Hyderabad
Minimum 7 + years of experience
Job Summary
We are seeking a Sr. Developer with 8 to 12 years of experience to join our dynamic team. The ideal candidate will have expertise in Spark in Scala Delta Sharing and Databricks Unity Catalog Admin. This role involves working with cutting-edge technologies like Databricks CLI Delta Live Pipelines and Structured Streaming. The candidate will contribute to risk management solutions and leverage tools such as Apache Airflow Amazon S3 and Amazon Redshift. Proficiency in Python Databricks SQL
Responsibilities
- Develop and implement scalable data processing solutions using Spark in Scala to enhance data-driven decision-making.
- Manage and administer Databricks Unity Catalog to ensure data governance and security compliance.
- Utilize Delta Sharing to facilitate secure and efficient data sharing across various platforms.
- Configure and maintain Databricks CLI for seamless integration and automation of workflows.
- Design and execute Delta Live Pipelines to streamline data ingestion and transformation processes.
- Implement Structured Streaming solutions to handle real-time data processing and analytics.
- Collaborate with cross-functional teams to integrate risk management strategies into data solutions.
- Leverage Apache Airflow for orchestrating complex data workflows and ensuring timely execution.
- Optimize data storage and retrieval using Amazon S3 and Amazon Redshift to improve performance.
- Develop Python scripts to automate data processing tasks and enhance operational efficiency.
- Utilize Databricks SQL for querying and analyzing large datasets to derive actionable insights.
- Implement Databricks Delta Lake to ensure data reliability and consistency across the platform.
- Manage Databricks Workflows to automate and streamline data engineering processes.
Qualifications
- Possess strong expertise in Spark in Scala and Databricks Unity Catalog Admin.
- Demonstrate proficiency in Delta Sharing and Databricks CLI for data management.
- Have experience with Delta Live Pipelines and Structured Streaming for real-time analytics.
- Show capability in risk management and integration with data solutions.
- Be skilled in using Apache Airflow Amazon S3 and Amazon Redshift for data orchestration.
- Exhibit strong Python programming skills for automation and data processing.
- Have a solid understanding of Databricks SQL and Delta Lake for data analysis and reliability.
- Experience with PySpark for distributed data processing is highly desirable.
La comunidad de Cognizant:
Somos un equipo de alto calibre que se aprecia y se apoya mutuamente. Nuestra gente defiende un lugar de trabajo enérgico, colaborativo e inclusivo donde todos puedan prosperar.
- Cognizant es una comunidad global con más de 300.000 asociados en todo el mundo.
- No solo soñamos con una mejor manera, sino que la hacemos realidad.
- Cuidamos a nuestra gente, clientes, empresas, comunidades y el clima haciendo lo correcto.
- Fomentamos un entorno innovador en el que puedes construir la trayectoria profesional adecuada para ti.
Sobre nosotros:
Cognizant (NASDAQ: CTSH) es arquitecto de soluciones de IA y proveedor de servicios tecnológicos que traduce la inversión en inteligencia artificial en valor empresarial real mediante soluciones de IA de stack completo adaptadas a cada cliente. Su profundo conocimiento de la industria, los procesos y la ingeniería le permite integrar el contexto único de cada organización en sistemas tecnológicos que amplifican el potencial humano, generan un impacto real en el negocio y mantienen a las grandes empresas globales un paso adelante en un mundo en constante cambio. Para más información, visita www.cognizant.es o síguenos en @cognizant.
Cognizant es un empleador que ofrece igualdad de oportunidades. Tu solicitud y candidatura no serán consideradas en base a raza, color, sexo, religión, credo, orientación sexual, identidad de género, origen nacional, discapacidad, información genética, embarazo, condición de veterano o cualquier otra característica protegida por las leyes federales, estatales o locales.
Si tienes una discapacidad que requiere adaptaciones razonables para buscar una vacante de trabajo o enviar una solicitud, puedes enviar un correo electrónico a [email protected] con tu solicitud e información de contacto.
Disclaimer:
La información de compensación es precisa a la fecha de esta publicación. Cognizant se reserva el derecho de modificar esta información en cualquier momento, sujeto a la legislación aplicable.
Es posible que se requiera que los solicitantes asistan a entrevistas en persona o por videoconferencia. Además, es posible que se requiera que los candidatos presenten su identificación actual emitida por el estado o gobierno durante cada entrevista.
Aunque nuestro sistema permite la postulación en todos los idiomas, el (los) idioma(s) y el (los) nivel(es) de competencia requeridos para el trabajo varían. Sin embargo, se requiere un nivel básico de inglés para fines de comunicación en toda la empresa.