Job Title: - Databricks with AWS & Pyspark
Location: - AIA Hyderabad
Minimum 7 + years of experience
Job Summary
We are seeking a Sr. Developer with 8 to 12 years of experience to join our dynamic team. The ideal candidate will have expertise in Spark in Scala Delta Sharing and Databricks Unity Catalog Admin. This role involves working with cutting-edge technologies like Databricks CLI Delta Live Pipelines and Structured Streaming. The candidate will contribute to risk management solutions and leverage tools such as Apache Airflow Amazon S3 and Amazon Redshift. Proficiency in Python Databricks SQL
Responsibilities
- Develop and implement scalable data processing solutions using Spark in Scala to enhance data-driven decision-making.
- Manage and administer Databricks Unity Catalog to ensure data governance and security compliance.
- Utilize Delta Sharing to facilitate secure and efficient data sharing across various platforms.
- Configure and maintain Databricks CLI for seamless integration and automation of workflows.
- Design and execute Delta Live Pipelines to streamline data ingestion and transformation processes.
- Implement Structured Streaming solutions to handle real-time data processing and analytics.
- Collaborate with cross-functional teams to integrate risk management strategies into data solutions.
- Leverage Apache Airflow for orchestrating complex data workflows and ensuring timely execution.
- Optimize data storage and retrieval using Amazon S3 and Amazon Redshift to improve performance.
- Develop Python scripts to automate data processing tasks and enhance operational efficiency.
- Utilize Databricks SQL for querying and analyzing large datasets to derive actionable insights.
- Implement Databricks Delta Lake to ensure data reliability and consistency across the platform.
- Manage Databricks Workflows to automate and streamline data engineering processes.
Qualifications
- Possess strong expertise in Spark in Scala and Databricks Unity Catalog Admin.
- Demonstrate proficiency in Delta Sharing and Databricks CLI for data management.
- Have experience with Delta Live Pipelines and Structured Streaming for real-time analytics.
- Show capability in risk management and integration with data solutions.
- Be skilled in using Apache Airflow Amazon S3 and Amazon Redshift for data orchestration.
- Exhibit strong Python programming skills for automation and data processing.
- Have a solid understanding of Databricks SQL and Delta Lake for data analysis and reliability.
- Experience with PySpark for distributed data processing is highly desirable.
コグニザントのコミュニティ：
私たちは、互いを尊重し支え合う優秀な人材の集まりです。社員一人ひとりが成長し、力を発揮できるよう、エネルギッシュで協力的かつインクルーシブな職場環境を大切にしています。
- コグニザントは、世界中に30万人以上のアソシエイトを擁するグローバルコミュニティです。
- 私たちは、より良い方法を夢見るだけでなく、それを実現します。
- 人、クライアント、企業、地域社会、そして環境に対して、常に「正しいこと」を行うことで責任を果たします。
- あなたにとって最適なキャリアパスを築くことができる、革新的な環境を提供します。
私たちについて：
コグニザント（NASDAQ: CTSH）は、AI builderおよびテクノロジーサービスプロバイダとして、AI投資を企業価値へとつなげるフルスタックのAIソリューションを提供しています。業界、業務プロセス、エンジニアリングに関する深い専門性を強みに、各企業固有のコンテキストをテクノロジーシステムに組み込み、人の力を最大限に引き出すとともに、具体的な成果の創出と、急速に変化する世界におけるグローバル企業の競争力維持を支援します。詳しくは、当社ウェブサイト www.cognizant.com をご覧ください。
コグニザントは機会均等を重視する雇用主です。応募者および候補者は、人種、肌の色、性別、宗教、信条、性的指向、性自認、国籍、障がい、遺伝情報、妊娠、退役軍人の地位、または連邦、州、地方の法律で保護されているその他の特性に基づいて差別されることはありません。
免責事項：
応募者は、対面またはビデオ会議による面接への参加を求められる場合があります。また、各面接の際に、現住所または政府発行の身分証明書の提示が必要となる場合があります。