Xây dựng và vận hành data pipeline trên Databricks/AWS cho sản phẩm vay tiêu dùng tại GoTymeX.
Yêu cầu
Cử nhân trở lên
3+ năm kinh nghiệm xây dựng ETL/ELT pipeline
Thành thạo Apache Spark, Python, SQL
Làm việc tốt với các định dạng Text, Delta, Parquet, JSON, CSV, XML
Kiến thức Spark Structured Streaming, AWS S3, Git/DevOps/CI/CD
Trách nhiệm
Thiết kế, phát triển, test, deploy và monitor data pipeline trên Databricks (AWS) từ nhiều nguồn dữ liệu
Viết code PySpark và SQL scalable trên Databricks
Tối ưu hóa và tự động hóa quy trình nội bộ
Xây dựng dashboard chất lượng dữ liệu, lineage và monitoring để đảm bảo data governance
Có thì tốt
Kinh nghiệm Atlassian stack (Jira, Confluence, Bitbucket)
Hiểu biết về web API frameworks và web services
Lương và phúc lợi
Performance-based bonus và equity tham gia GoTyme Group
13th month salary pro-rata
15 ngày phép năm + 3 ngày ốm + 1 ngày sinh nhật + 1 ngày Giáng sinh
Phụ cấp ăn trưa và đỗ xe, bảo hiểm theo luật và bảo hiểm y tế cao cấp cho bản thân và gia đình
Tóm tắt bằng AI từ JD gốc, đọc JD gốc trước khi ứng tuyển.
GoTymeX is building some of world's fastest growing digital banks and the data team plays a key role in driving the bank’s vision of creating a platform that stimulates economic participation and facilitates broader financial inclusion by implementing creative best in class data and analytic solutions to achieve success in providing quality services and products to our customers and optimising the business.
As a Data Engineer you will contribute to the mission by creating solutions that will directly support informed decision-making and innovation by providing clean, protected, quality and auditable data from various sources into fit for purpose data products.
In this role, you can expect to:
Design, develop, test, deploy and monitor data pipelines in Databricks on AWS from a wide variety of data sources.
Design, develop, test, deploy and monitor scalable code with PySpark and SQL in Databricks.
Identify opportunities to improve internal process through code optimisation and automation.
Build data quality dashboards, lineage flows / and or monitoring tools to utilize the data pipeline, providing active monitoring and actionable insight into overall data quality and data governance.
Assist in migrating data from legacy systems onto newly developed solutions.
Follow and lead best practices on all data security, retention, and privacy policies.
Bachelor’s degree.
3+ years’ experience of building ETL/ELT pipelines.
Proven competency in solution design, development, implementation, reporting and analysis.
Proficiency in Apache-Spark, Python and SQL languages.
Proficiency in working with Text, Delta, Parquet, JSON, CSV, and XML data formats.
Working knowledge of Spark structured streaming.
AWS infrastructure experience, specifically working with S3.
Solid understanding of git-based version control, DevOps, and CI/CD. Experience of working on Atlassian stack a plus.
Knowledge of common web API frameworks and web services.
Strong teamwork, relationship, and client management skills, and the ability to influence peers and senior management to accomplish team goals.
Willingness to embrace modern technology, best practice, and ways of work.
Performance-based bonus and equity participation in GoTyme Group