Kỹ sư Dữ liệu - Kỹ sư Dữ liệu

Xây dựng, quản lý và bảo trì các luồng dữ liệu (Data Pipeline).

Mô tả công việc

• Thực hiện xây dựng và lập lịch các luồng ETL thu thập dữ liệu từ các hệ thống nguồn, làm sạch và chuẩn hóa dữ liệu (xử lý và lưu lại các bản ghi lỗi, xử lý trùng lặp, tạo ra dữ liệu dùng chung), đánh giá chất lượng dữ liệu, tổng hợp dữ liệu các bảng dimension, bảng facts, bảng OLAP, xuất dữ liệu cho hệ thống khác theo tài liệu thiết kế chi tiết.
• Thực hiện dựng luồng chuyển dữ liệu giữa các cụm dữ liệu lớn.
• Xây dựng các tiến trình dọn dẹp dữ liệu cũ, hoặc nén dữ liệu
• Xây dựng các tiến trình backup dữ liệu
• Thực hiện các nhiệm vụ sửa lỗi được phát hiện trong quá trình phát triển và triển khai.
• Tìm nguyên nhân và khắc phục được lỗi do cá nhân tạo ra trong quá trình phát triển và triển khai.
• Viết tài liệu, chuẩn bị kịch bản upcode với các yêu cầu nâng cấp
• Upcode các yêu cầu nâng cấp theo quy trình và kịch bản có sẵn.

Yêu cầu

• Kỹ năng thành thạo một trong các framework, thư viện lưu trữ, xử lý dữ liệu lớn (Hadoop, Spark, Kafka, Nifi)
• Kiển thức về các loại CSDL (RDBMS, Graph Databases, NoSQL Products, ...)
• Có kiến thức vững về cấu trúc dữ liệu và giải thuật:

+ Hiểu biết chi tiết về các loại dữ liệu cơ bản ( Interger, Boolean...) và array

+ Hiểu rõ về mối liên hệ giữa cấu trúc dữ liệu và giải thuật

+ Hiểu biết , đánh giá độ phức tạp và cài đặt được các thuật toán, ví dụ các thuật toán sắp xếp : sắp xếp nổi bọt, sắp xếp lựa chọn.., các thuật toán tìm kiếm - Kiến thức về lập trình, cấu trúc dữ liệu & giải thuật

• Kỹ năng sử dụng một loại ngôn ngữ lập trình (Java, Scala, ...),
• Kỹ năng sử dụng SQL thành thạo
• Kỹ năng sử dụng một trong các loại CSDL (Hive, Oracle, Neo4j, HBase, Cassandra, MongoDB, ..)
• Có khả năng sử dụng các công cụ phân tích log để tìm ra nguyên nhân lỗi.

Kỹ năng

Algorithm Engineering, Big Data, Big Data Analytics, Big Data Concepts, Big Data Management, Corporate Data Architecture Standards, Data Architecture, Data Structures, Data Warehouse Access and Reporting, Data Warehouse Analysis, Data Warehouse Concepts, Data Warehouse Knowledge, Data Warehouse Marts, Data Warehouse Mining, Data Warehouse Modeling, Data Warehouses, ETL/ETT/ETM Tools and Process, Programming, Programming Standards and Procedures, Programming Tools and Products, Programming/Scripting, Structured Query Language