Chương 9 – Bài 3: Capstone Project — Kiểm thử, giám sát, tối ưu chi phí và mở rộng hệ thống
Hoàn thành bài "Chương 9 – Bài 2: Capstone Project — Xây dựng và triển khai hệ thống lên VPS" trước để mở khoá bài này.Đến bài trước
Giới thiệu
Sau khi xây dựng xong một hệ thống AI Agent, bước tiếp theo không kém phần quan trọng là đảm bảo nó hoạt động đúng, ổn định, và không đốt tiền không cần thiết. Bài học này đi vào 4 trụ cột cuối cùng của vòng đời một dự án AI thực tế: kiểm thử toàn diện, thiết lập monitoring, tối ưu chi phí API, và lên kế hoạch mở rộng hệ thống khi người dùng tăng lên.
Đây là nội dung thường bị bỏ qua trong giai đoạn prototype nhưng lại quyết định sự sống còn của hệ thống khi đưa vào production.
Kiểm thử toàn diện hệ thống AI Agent
Kiểm thử hệ thống AI khác với kiểm thử phần mềm truyền thống ở chỗ: đầu ra của LLM không hoàn toàn deterministic. Vì vậy cần phân tầng kiểm thử.
Tầng 1 là unit test các công cụ (tools) mà agent sử dụng — đây là phần thuần logic, kiểm thử bình thường:
python
import pytest
from tools.calculator import calculate_discount
deftest_calculate_discount_basic():
result = calculate_discount(price=100, percent=20)
assert result ==80.0
deftest_calculate_discount_zero():
result = calculate_discount(price=100, percent=0)
assert result ==100.0
Tầng 2 là integration test luồng agent — kiểm tra xem agent có gọi đúng tool với đúng tham số không. Dùng mock để tránh tốn token thật:
Với hệ thống lớn hơn, có thể đẩy log lên các dịch vụ như Langfuse, Weights & Biases, hoặc đơn giản là một bảng PostgreSQL để sau này query phân tích. Langfuse là lựa chọn phổ biến vì có SDK Python và hỗ trợ trace từng bước của agent:
Chi phí OpenAI API tỷ lệ trực tiếp với số token. Có 4 kỹ thuật chính để giảm chi phí mà không hy sinh chất lượng đáng kể.
Kỹ thuật 1: Rút gọn system prompt. Mỗi request đều gửi kèm system prompt — nếu prompt dài 500 token và bạn có 10.000 request/ngày, đó là 5 triệu token chỉ riêng system prompt. Viết ngắn gọn, loại bỏ ví dụ thừa.
Kỹ thuật 2: Cắt bớt conversation history. Chỉ giữ N tin nhắn gần nhất thay vì toàn bộ lịch sử:
python
MAX_HISTORY =10
deftrim_history(messages:list)->list:
system_msgs =[m for m in messages if m["role"]=="system"]
non_system =[m for m in messages if m["role"]!="system"]
return system_msgs + non_system[-MAX_HISTORY:]
Kỹ thuật 3: Chọn đúng model theo task. Không phải task nào cũng cần GPT-4o. Phân loại request và route sang model rẻ hơn khi có thể:
python
defselect_model(task_type:str)->str:
if task_type in["classification","extraction","simple_qa"]:
return"gpt-4o-mini"# rẻ hơn ~15 lần so với gpt-4o
return"gpt-4o"
Kỹ thuật 4: Caching kết quả với prompt giống nhau. Dùng Redis hoặc dict đơn giản để cache theo hash của prompt:
returnawait asyncio.gather(*[process_one(p)for p in prompts])
Về kiến trúc dài hạn, khi hệ thống phục vụ hàng nghìn người dùng đồng thời, nên tách agent logic thành microservice độc lập, dùng message queue (RabbitMQ hoặc Redis Queue) để nhận job bất đồng bộ, và horizontal scale bằng cách chạy nhiều worker instance. Điểm quan trọng là giữ stateless — mọi trạng thái conversation lưu vào DB ngoài, không lưu trong memory của worker.
Tổng kết
Bốn trụ cột của một hệ thống AI production bền vững là kiểm thử đúng tầng, logging đủ thông tin, tối ưu token thông minh, và kiến trúc sẵn sàng mở rộng. Không nhất thiết phải làm hết ngay từ đầu, nhưng nên biết rõ từng điểm để ưu tiên đúng khi hệ thống lớn dần. Prototype chỉ cần chạy được — production cần chạy ổn định, rẻ, và quan sát được.
✎
Luyện tập sau buổi học
Bài kiểm tra cuối bài
Ôn lại kiến thức, thử sức và nhận góp ý cho bài làm.