Thiết kế và xây dựng các đường ống dữ liệu (data pipelines) có khả năng mở rộng trên nền tảng đám mây AWS.
Yêu cầu
- Hơn 3 năm kinh nghiệm phát triển với Python
- Kinh nghiệm thiết kế data pipeline và phân tích dữ liệu với Python, Spark
- Kinh nghiệm lưu trữ dữ liệu ở các định dạng Parquet, CSV, Iceberg
- Kinh nghiệm phát triển trên cloud AWS và làm việc với RDBMS (MySQL) SQL
- Kinh nghiệm tối ưu hóa bộ nhớ và hiểu biết về CI/CD, Git, Jira
Trách nhiệm
- Thiết kế và xây dựng data pipeline trên đám mây có khả năng mở rộng
- Phát triển module, hàm và mã nguồn sẵn sàng production cho quy trình ETL/ELT
- Phân tích tĩnh, động và kiểm thử pipeline đầu-cuối để đảm bảo hiệu năng
- Tạo tài liệu kỹ thuật chi tiết về thiết kế, triển khai và kiểm thử
Có thì tốt
- Kinh nghiệm dẫn dắt đội ngũ (Team leading)
- Khả năng giao tiếp bằng tiếng Hàn
Tóm tắt bằng AI từ JD gốc, đọc JD gốc trước khi ứng tuyển.