Thiết kế, xây dựng và vận hành nền tảng dữ liệu, pipeline quy mô lớn phục vụ hệ thống robot và AI của VinRobotics.
Yêu cầu
Tối thiểu 3 năm kinh nghiệm xây dựng data pipeline hoặc data platform quy mô lớn
Thành thạo Python và kỹ năng SQL nâng cao
Kinh nghiệm với Apache Airflow, Kafka, MinIO/S3, Kubernetes hoặc tương đương
Hiểu biết sâu về cơ sở dữ liệu như PostgreSQL, MySQL, MongoDB hoặc Redis
Kinh nghiệm với Git, Docker và quy trình phát triển phần mềm hiện đại
Trách nhiệm
Xây dựng pipeline thu thập, lưu trữ và xử lý dữ liệu robot, cảm biến và AI
Thiết kế thành phần nền tảng dữ liệu cho quản lý, lưu trữ và truy cập dữ liệu
Xây dựng API và công cụ hỗ trợ truy vấn và trực quan hóa dữ liệu
Thiết lập chuẩn chất lượng dữ liệu, giám sát cảnh báo và tiêu chuẩn hóa CI/CD
Có thì tốt
Kinh nghiệm xử lý dữ liệu phi cấu trúc lớn (ảnh, video, point clouds, rosbag)
Kinh nghiệm với Spark hoặc hệ thống xử lý phân tán; công cụ Foxglove
Hiểu biết CI/CD, ROS/ROS2, cloud AWS/Azure, giám sát Prometheus/Grafana
Tóm tắt bằng AI từ JD gốc, đọc JD gốc trước khi ứng tuyển.
VinRobotics, based in Hanoi, Vietnam, is revolutionizing corporate operations with a fleet of autonomous robots addressing labor shortages and challenging tasks. Join our in-office team to help bring our vision of deploying autonomous robots to solve real-world problems.
We are seeking a Senior Data Engineer to lead the design, build, and operation of the data platforms that power VinRobotics' robot and AI systems. In this role, you will own the architecture of large-scale data pipelines and storage systems, set technical standards, mentor other engineers, and collaborate with AI, engineering, and product teams.
Key Responsibilities:
Architect and build data processing pipelines for collecting, storing, and processing large-scale robot, sensor, and AI training data.
Design and own data platform components for data management, cataloging, and access (including object storage and databases), ensuring scalability, security, and cost efficiency.
Build APIs and tools that let internal teams access, query, and visualize data.
Define standards for data quality, reliability, and performance through validation, monitoring, and alerting.
Lead deployment and operation of data systems in staging and production; establish incident response processes and drive availability of critical data services.
Standardize CI/CD pipelines and containerized deployments for data workloads.
Conduct design and code reviews, and make technical decisions on solutions proposed by the team.
Mentor and provide technical guidance to junior and mid-level engineers.
Collaborate with AI/ML, robotics, system integration, and product teams to gather requirements and deliver data to where it is needed.
Required Qualifications:
Bachelor's or Master's degree in Computer Science or a related field.
At least 3 years of professional experience building data pipelines or data platforms, including experience designing platforms at scale.
Strong proficiency in Python (Rust, Golang is a plus) and advanced SQL skills.
Experience with at least some of: Apache Airflow, Kafka, MinIO/S3-compatible object storage, Kubernetes (K8s), or similar.
Strong knowledge of data stores such as PostgreSQL, MySQL, MongoDB, or Redis.
Experience with Git, Docker, and modern software development processes.
Ability to lead technical discussions and drive projects end to end.
Strong verbal and written communication skills for collaboration and documentation.
Preferred Qualifications:
Experience handling large-scale unstructured data (images, video, point clouds, rosbag/MCAP).
Experience with Spark or other distributed processing frameworks.
Experience with data visualization tools such as Foxglove.
Familiarity with CI/CD pipelines and DevOps best practices (e.g., Jenkins, GitLab, Bitbucket Pipelines).
Familiarity with ROS/ROS2.
Familiarity with AWS/Azure cloud services.
Experience with monitoring and observability tools (e.g., Prometheus, Grafana).
