Thiết kế quy trình ETL/ELT, thu thập, làm sạch và tổng hợp dữ liệu từ nhiều nguồn để xây dựng profile.
Yêu cầu
Tối thiểu 2 năm kinh nghiệm ở vị trí Data Engineer hoặc tương đương
Tốt nghiệp Đại học ngành CNTT, Toán tin, Khoa học dữ liệu hoặc liên quan
Thành thạo kỹ thuật tìm kiếm nâng cao và sử dụng các nền tảng OSINT
Thành thạo lập trình (ưu tiên Scala, Python) và kiến thức vững về SQL
Kinh nghiệm thực tế xây dựng và vận hành các pipeline ETL/ELT
Trách nhiệm
Thiết kế pipeline ETL, làm giàu, chuẩn hóa và tổng hợp dữ liệu đa nguồn
Phân tích tệp dữ liệu thô và làm sạch để loại bỏ thông tin rác
Sử dụng các công cụ OSINT để kiểm tra và đánh giá dữ liệu profile
Phối hợp tự động hóa quy trình trích xuất, phân loại và lưu trữ dữ liệu
Có thì tốt
Hiểu biết về Big Data như Apache Spark, Apache Flink
Kinh nghiệm với Apache Nifi hoặc hệ thống streaming Kafka
Kinh nghiệm containerization (Docker, Kubernetes) và tiếng Anh đọc hiểu tài liệu
Tóm tắt bằng AI từ JD gốc, đọc JD gốc trước khi ứng tuyển.
Mô tả công việc
Thu thập, thiết kế quy trình ETL, làm giàu (data enrichment), chuẩn hóa và tổng hợp dữ liệu từ nhiều nguồn khác nhau để xây dựng profile chi tiết.
Phân tích các tệp dữ liệu thô, thực hiện các kỹ thuật làm sạch dữ liệu (data cleaning) để loại bỏ thông tin rác và đối chiếu chéo để đảm bảo tính xác thực của thông tin đầu vào.
Sử dụng các công cụ nguồn mở (OSINT) để kiểm tra và đánh giá profile đã được xây dựng.
Phối hợp với bộ phận kỹ thuật để tự động hóa các quy trình trích xuất, phân loại và lưu trữ dữ liệu định kỳ.
Yêu cầu công việc
Yêu cầu bắt buộc:
Tốt nghiệp Đại học chuyên ngành Công nghệ thông tin, Toán tin, Khoa học dữ liệu hoặc lĩnh vực liên quan.
Tối thiểu 2 năm kinh nghiệm ở vị trí Data Engineer hoặc các vai trò tương tự.
Thành thạo các cú pháp tìm kiếm nâng cao trên các công cụ tìm kiếm và sử dụng thành thạo các nền tảng OSINT phổ biến.
Thành thạo ít nhất một ngôn ngữ lập trình, ưu tiên Scala, Python, và có kiến thức vững chắc về SQL để truy vấn và thao tác dữ liệu phức tạp.
Có kinh nghiệm thực tế trong việc xây dựng và vận hành các pipeline ETL/ELT.
Hiểu biết về các công nghệ Big Data như Apache Spark, Apache Flink là một lợi thế lớn.
Sự cẩn thận, tỉ mỉ và nhạy bén khi đối diện với những khối lượng thông tin lớn, nhiều điểm mù và phức tạp.
Khả năng duy trì sự tập trung cao độ và chịu được áp lực khi phải hoàn thành công việc trong thời gian ngắn.
Yêu cầu ưu tiên (Điểm cộng):
Có kinh nghiệm với các công cụ điều phối pipeline như Apache Nifi.
Hiểu biết về các hệ thống dữ liệu streaming như Kafka
Kinh nghiệm với containerization (Docker, Kubernetes).
Khả năng đọc hiểu tài liệu kỹ thuật bằng tiếng Anh tốt.
