Job Summary
This hybrid role combines data engineering and data architecture responsibilities for cloud based analytics solutions using PySpark and Databricks platforms. The role focuses on designing scalable data pipelines optimizing Databricks SQL workloads and ensuring robust data models that support business analytics across life and annuities insurance domains. The candidate will collaborate with cross functional teams during day shifts to deliver high quality data products that enable informed deci
Responsibilities
Design and implement scalable data pipelines using PySpark to ingest transform and validate large volumes of structured and semi structured data within Databricks workspaces ensuring reliable and reusable data assets across business units.Develop and maintain optimized Databricks SQL queries and data models that support analytics reporting and self service data consumption focusing on performance tuning and cost efficient resource utilization in the shared compute environment.Architect end to end data solutions by defining data lake and warehouse structures partitioning strategies and storage conventions so that data remains consistent discoverable and compliant with enterprise data governance practices.Collaborate closely with data analysts business stakeholders and application teams to translate analytical and regulatory requirements into robust technical designs that improve accuracy timeliness and usability of critical data sets.Implement rigorous data quality frameworks including profiling validation rules and automated checks in PySpark and Databricks workflows to reduce data defects and ensure trustworthy information for downstream analytics consumers.Configure and maintain Databricks jobs clusters and notebooks by establishing standards for environment configuration code packaging and monitoring so that pipelines run predictably and are straightforward to troubleshoot.Optimize data processing workloads by analyzing job execution metrics refining PySpark transformations and reorganizing data storage patterns to enhance throughput minimize latency and support evolving business demand without service disruption.Document data architectures pipeline flows and dataset definitions in a clear and consumable format so technical and non technical partners can understand data lineage usage constraints and the impact of changes on reporting and regulatory outcomes.Support secure data handling practices by applying access controls encryption configurations and anonymization techniques in Databricks so sensitive information remains protected while still enabling meaningful analysis and innovation.Coordinate with enterprise data governance and compliance teams to align data solutions with standards for quality retention and auditability especially where life and annuities insurance data influences pricing risk assessment and customer servicing decisions.Engage in continuous improvement of development practices by adopting version control workflows reusable PySpark components and automation patterns that enhance reliability reduce manual effort and support efficient onboarding of future team members.Troubleshoot production data issues by investigating pipeline failures resolving schema conflicts and correcting data anomalies in a timely manner thereby decreasing downtime for analytics platforms and maintaining trust in official data sources.Contribute to the organization purpose by enabling accurate risk modeling customer insight generation and regulatory reporting through well architected data solutions that support more resilient life and annuities products for society.
Qualifications
Demonstrate advanced proficiency in PySpark development and Databricks notebook based engineering including the ability to build complex transformations reusable libraries and parameter driven workflows suited for large scale enterprise data operations.Show strong capability in Databricks SQL by designing performant queries star schema and wide table structures and materialized views that empower analysts to explore data efficiently and without unnecessary technical dependencies.Apply solid data architecture principles such as dimensional modeling normalized designs and data lake layering to create organized repositories that can adapt to changing business needs while preserving historical context and integrity.Utilize experience in life and annuities insurance domains when available to shape data models and pipeline logic that reflect policy structures claims processes and actuarial considerations thereby increasing relevance and interpretability of analytics outputs.Employ disciplined development practices including unit testing code review participation environment promotion procedures and incident documentation so that data solutions remain maintainable auditable and aligned with enterprise standards.Collaborate effectively in a hybrid work model by communicating progress risks and technical decisions clearly across onsite and remote colleagues during day shifts supporting predictable delivery timelines and shared understanding of priorities.
Certifications Required
Good to have certifications Databricks Data Engineer Associate and Azure Data Engineer or equivalent cloud data certification.
ข่าวประชาสัมพันธ์แบบสำเร็จรูปของ Cognizant
Cognizant(NASDAQ: CTSH) คือผู้สร้าง AI และผู้ให้บริการด้านเทคโนโลยี ซึ่งเชื่อมช่องว่างระหว่างการลงทุนใน AI และมูลค่าขององค์กรด้วยการสร้างโซลูชัน AI แบบครบวงจรให้แก่ไคลเอนต์ของเรา ความเชี่ยวชาญเชิงลึกด้านอุตสาหกรรม กระบวนการ และวิศวกรรมของเรา ช่วยให้เราผสานบริบทเฉพาะขององค์กรเข้ากับระบบเทคโนโลยีเพื่อเพิ่มศักยภาพมนุษย์ สร้างผลลัพธ์ที่จับต้องได้ และช่วยให้องค์กรระดับโลกก้าวนำหน้าอยู่เสมอในโลกที่เปลี่ยนแปลงไป ดูวิธีดำเนินการได้ที่ cognizant.ai หรือ @cognizant
ข้อมูลการจ้างงานเพิ่มเติม
ข้อมูลเกี่ยวกับค่าตอบแทนมีความถูกต้อง ณ วันที่ประกาศรับสมัครงานนี้ Cognizant ขอสงวนสิทธิ์ในการแก้ไขข้อมูลดังกล่าวได้ตลอดเวลา ภายใต้กฎหมายที่เกี่ยวข้อง
ผู้สมัครอาจถูกขอให้เข้ารับการสัมภาษณ์แบบพบตัวต่อตัวหรือผ่านการประชุมทางวิดีโอ นอกจากนี้ ผู้สมัครอาจถูกขอให้นำเอกสารประจำตัวที่ออกโดยหน่วยงานของรัฐ หรือบัตรประจำตัวที่ออกโดยรัฐบาลซึ่งยังมีผลบังคับใช้ มาแสดงในระหว่างการสัมภาษณ์แต่ละครั้ง
Cognizant เป็นนายจ้างที่ให้โอกาสอย่างเท่าเทียม การสมัครและการพิจารณาคุณสมบัติของคุณจะไม่ถูกตัดสินจากเชื้อชาติ สีผิว เพศ ศาสนา ความเชื่อ รสนิยมทางเพศ อัตลักษณ์ทางเพศ สัญชาติ ความพิการ ข้อมูลทางพันธุกรรม การตั้งครรภ์ สถานะทหารผ่านศึก หรือคุณลักษณะอื่นใดที่ได้รับการคุ้มครองตามกฎหมายของรัฐบาลกลาง รัฐ หรือท้องถิ่น
