AI Quality Engineer

Ho Chi MinhĐăng 14 giờ trước

Chưa ghi lương
Mid
several-years YoE
Ho Chi Minh City
Software Engineer in Test (SDET)

Kỹ năng bắt buộc

Về công việc

Định nghĩa và thực hiện chiến lược kiểm thử chất lượng cho các AI agent trên sản phẩm bbv AI Hub, đảm bảo tính đúng đắn, bền vững, an toàn và hành vi hồi quy.

Yêu cầu

Kinh nghiệm nhiều năm trong QA, Test Engineering hoặc Quality Engineering
Nắm vững các phương pháp kiểm thử và kỹ thuật thiết kế test case
Kinh nghiệm kiểm thử API/web, tự động và kiểm thử hồi quy, quy trình cộng tác Git
Kỹ năng phân tích tốt, khả năng truy tìm nguyên nhân rễ rối của các lỗi phức tạp
Hiểu biết vững chắc về khái niệm AI/LLM và tác động đến chất lượng phần mềm

Trách nhiệm

Xây dựng và duy trì bộ dữ liệu test có phiên bản, theo dõi quy trình từ đầu vào người dùng đến câu trả lời cuối cùng
Sử dụng Langfuse đánh giá các phiên bản agent, prompt, model và cấu hình theo các tiêu chuẩn chuẩn hóa
Thiết kế các rubric đánh giá và prompt LLM-as-a-judge kết hợp đánh giá định đoán, LLM và con người
Xây dựng ngưỡng chất lượng, tiêu chí hồi quy và cổng tự động trong pipeline CI/CD

Có thì tốt

Kinh nghiệm kiểm thử ứng dụng LLM, AI agents hoặc đánh giá LLM
Sử dụng Langfuse hoặc các nền tảng đánh giá tương tự
Kiến thức về LangChain/LangGraph, prompt engineering, kiểm thử adversarial hoặc hallucination

Tóm tắt bằng AI từ JD gốc, đọc JD gốc trước khi ứng tuyển.

Mô tả công việc

Define and implement quality assurance strategies for AI agents built on our bbv AI Hub product, covering functional correctness, robustness, reliability, safety, and regression behavior.
Validate complete agent workflows, from user input and tool calls to integrations and final responses.
Design and maintain versioned, traceable test datasets that turn business requirements and real user scenarios into test cases, including edge cases, multi-step and tool-use tasks, and safety scenarios.
Use Langfuse to benchmark agent versions, prompts, models, and configurations against standardized datasets, tracking metrics such as task success, tool-call correctness, hallucination rate, latency, and cost.
Design evaluation rubrics and LLM-as-a-judge prompts, combining deterministic, LLM-based, and human evaluation, and validate the reliability of automated evaluators.
Establish baselines, quality thresholds, and regression criteria for agent releases, and support automated quality gates in CI/CD pipelines.
Analyze failed agent traces to find root causes and turn production failures and user feedback into permanent regression test cases.
Work closely with AI Engineers, Software Engineers, and Product Owners to define measurable acceptance criteria, resolve issues, and verify fixes.
Report evaluation results clearly and contribute to AI agent quality standards on the bbv AI Hub.

Yêu cầu công việc

Several years of experience in Software Quality Assurance, Test Engineering, or Quality Engineering.
Strong understanding of testing methodologies and test design techniques, with experience designing and maintaining structured test datasets.
Experience with API and/or web application testing, automated and regression testing, and Git-based collaborative workflows.
Strong analytical skills and the ability to trace complex failures to their root cause.
Good understanding of AI/LLM concepts and their implications for software quality.
Experience testing LLM-based applications, AI agents, or LLM evaluation is a strong advantage.
Experience with some of the following is a plus: Langfuse or similar evaluation platforms, LLM-as-a-judge, LangChain/LangGraph, Python or TypeScript, CI/CD quality gates, prompt engineering, and hallucination/adversarial testing.
Ability to communicate clearly with both technical and non-technical stakeholders.
Good English communication skills (both speaking and writing).

Đang tải…

Nguồn: careers Bbv Vietnam

Job

Thời gian

AI Quality Engineer

Ho Chi Minh

Đăng 14 giờ trước

Apply ↗

Java Backend Developer (Java 17+, Spring Boot, English)

Ho Chi Minh

Đăng 2/10/2026

Apply ↗

← Tất cả

Bbv Vietnam

Nhà tuyển dụng IT & Công nghệ tại Việt Nam

Vietnam · Sync 1 giờ trước · 2 job

Careers gốc

Chưa có referrer tại công ty này

Yêu cầu referral vẫn được Admin xử lý thủ công.

Đăng ký làm referrer ↗

Job	Địa điểm	Thời gian	Hành động
AI Quality Engineer Ho Chi Minh	Ho Chi Minh	Đăng 14 giờ trước	Apply ↗
Java Backend Developer (Java 17+, Spring Boot, English) Ho Chi Minh	Ho Chi Minh	Đăng 2/10/2026	Apply ↗

2 job

Bbv Vietnam