Job Summary
This role is for an experienced Architect responsible for designing and guiding implementation of modern LakeHouse data platforms using Spark job definition OneLake SQL and PySpark in a hybrid work model. The Architect will create scalable secure data solutions that support complex analytics and reporting needs with a focus on reliable pipelines and optimized query performance that help the organization deliver better data driven services to clients.
Responsibilities
- Design robust LakeHouse based data architectures that integrate diverse enterprise sources into OneLake while ensuring scalability reliability and alignment with organizational data strategy to support analytical and reporting workloads efficiently.
- Define end to end Spark job definition standards including coding conventions runtime configurations and resource optimization practices to ensure consistent performance and maintainability across large scale data processing pipelines.
- Develop efficient SQL and PySpark data transformation logic that supports complex business rules while maintaining data quality integrity and traceability for downstream analytics and operational systems.
- Oversee design of hybrid deployment patterns that enable secure access to the LakeHouse platform across on premises and cloud environments while aligning with enterprise security and compliance policies.
- Provide technical guidance to project teams on optimal use of OneLake capabilities for data ingestion storage partitioning and lifecycle management to deliver resilient and cost effective data solutions.
- Collaborate with stakeholders to translate analytical and reporting needs into detailed data models and pipeline designs using SQL and PySpark that enable timely and accurate insights for business decision making.
- Optimize Spark job execution by tuning cluster configurations adjusting partition strategies and refining transformation logic to reduce processing times and resource consumption while maintaining reliability.
- Implement standardized monitoring logging and alerting for LakeHouse workloads to proactively identify performance issues data quality problems and operational risks and drive timely resolution.
- Document architecture decisions data flow diagrams and technical standards for LakeHouse Spark OneLake SQL and PySpark implementations to support knowledge sharing and long term platform sustainability.
- Coordinate with data governance teams to embed metadata management access controls and audit capabilities within the LakeHouse environment to protect sensitive information and meet regulatory expectations.
- Review solution designs and code artifacts from project teams to ensure alignment with architectural principles coding best practices and nonfunctional requirements such as performance scalability and resilience.
- Drive continuous improvement of LakeHouse and Spark job definition practices by evaluating emerging tool capabilities frameworks and patterns and recommending pragmatic enhancements that deliver measurable value.
- Partner with business and product teams to identify opportunities where advanced analytics enabled by the LakeHouse platform can improve customer experiences operational efficiency and societal impact through better financial insights.
Qualifications
- Demonstrate proven architecture experience of at least ten years designing and delivering large scale data platforms with strong focus on distributed processing and enterprise integration.
- Show advanced proficiency in LakeHouse concepts including unified storage governance data modeling and workload management to design solutions that serve both analytical and operational use cases.
- Exhibit deep hands on expertise in Spark job definition and PySpark development including pipeline orchestration performance tuning and error handling for high volume data workloads.
- Possess strong SQL skills for building complex queries views and data models that support reporting dashboards and self service analytics while ensuring accuracy and consistency.
- Apply practical knowledge of OneLake features for organizing data zones managing security boundaries and optimizing storage strategies to achieve reliable and cost conscious solutions.
- Bring experience in hybrid work environments and be comfortable collaborating across distributed teams using remote and onsite engagement models while maintaining effective communication.
- Leverage retail banking domain exposure when available to better understand account transactions risk indicators and regulatory needs enabling data solutions that support responsible financial services.
- Utilize strong problem solving and analytical abilities to assess architectural tradeoffs propose clear options and recommend solutions that balance performance cost and long term maintainability.
Certifications Required
Preferred certifications include Azure Data Engineer Associate or Databricks Certified Data Engineer Professional or equivalent modern data architecture credential.
ข่าวประชาสัมพันธ์แบบสำเร็จรูปของ Cognizant
Cognizant(NASDAQ: CTSH) คือผู้สร้าง AI และผู้ให้บริการด้านเทคโนโลยี ซึ่งเชื่อมช่องว่างระหว่างการลงทุนใน AI และมูลค่าขององค์กรด้วยการสร้างโซลูชัน AI แบบครบวงจรให้แก่ไคลเอนต์ของเรา ความเชี่ยวชาญเชิงลึกด้านอุตสาหกรรม กระบวนการ และวิศวกรรมของเรา ช่วยให้เราผสานบริบทเฉพาะขององค์กรเข้ากับระบบเทคโนโลยีเพื่อเพิ่มศักยภาพมนุษย์ สร้างผลลัพธ์ที่จับต้องได้ และช่วยให้องค์กรระดับโลกก้าวนำหน้าอยู่เสมอในโลกที่เปลี่ยนแปลงไป ดูวิธีดำเนินการได้ที่ cognizant.ai หรือ @cognizant
ข้อมูลการจ้างงานเพิ่มเติม
ข้อมูลเกี่ยวกับค่าตอบแทนมีความถูกต้อง ณ วันที่ประกาศรับสมัครงานนี้ Cognizant ขอสงวนสิทธิ์ในการแก้ไขข้อมูลดังกล่าวได้ตลอดเวลา ภายใต้กฎหมายที่เกี่ยวข้อง
ผู้สมัครอาจถูกขอให้เข้ารับการสัมภาษณ์แบบพบตัวต่อตัวหรือผ่านการประชุมทางวิดีโอ นอกจากนี้ ผู้สมัครอาจถูกขอให้นำเอกสารประจำตัวที่ออกโดยหน่วยงานของรัฐ หรือบัตรประจำตัวที่ออกโดยรัฐบาลซึ่งยังมีผลบังคับใช้ มาแสดงในระหว่างการสัมภาษณ์แต่ละครั้ง
Cognizant เป็นนายจ้างที่ให้โอกาสอย่างเท่าเทียม การสมัครและการพิจารณาคุณสมบัติของคุณจะไม่ถูกตัดสินจากเชื้อชาติ สีผิว เพศ ศาสนา ความเชื่อ รสนิยมทางเพศ อัตลักษณ์ทางเพศ สัญชาติ ความพิการ ข้อมูลทางพันธุกรรม การตั้งครรภ์ สถานะทหารผ่านศึก หรือคุณลักษณะอื่นใดที่ได้รับการคุ้มครองตามกฎหมายของรัฐบาลกลาง รัฐ หรือท้องถิ่น
