Hoàn thành bài "Quản lý Secrets, Cơ sở dữ liệu và Cấu hình Môi trường" trước để mở khoá bài này.Đến bài trước

Tại sao Giám sát lại quan trọng với các ứng dụng do AI tạo ra

Khi ứng dụng do AI tạo ra của bạn đã chạy thực tế, bạn cần có khả năng quan sát ở ba tầng: tình trạng ứng dụng, tải hạ tầng và trải nghiệm người dùng. Nếu không có giám sát, một memory leak hoặc một truy vấn database chậm chỉ lộ ra khi người dùng phàn nàn. Code do AI sinh ra đặc biệt dễ mắc các vấn đề hiệu năng tinh tế — mô hình viết code có thể chạy được nhưng có thể không dùng thuật toán tối ưu, có thể làm rò rỉ kết nối database, hoặc có thể gọi API đến các dịch vụ đắt tiền như OpenAI một cách thừa thãi. Coi việc giám sát là một bước triển khai hạng nhất (không phải nghĩ đến sau) chính là điều phân biệt một prototype với một hệ thống cấp production.

Bốn trụ cột được đề cập trong bài học này: structured logging, theo dõi lỗi, các chỉ số hiệu năng và cấu hình tự động mở rộng. Cùng nhau, chúng cho phép bạn phát hiện sự cố, chẩn đoán nguyên nhân gốc và tự động phản ứng với tải.

Structured Logging

Các câu lệnh print thuần túy không thể tìm kiếm, không thể lọc và biến mất khi container khởi động lại. Structured logging nghĩa là xuất log dưới dạng các object JSON với các trường nhất quán (timestamp, level, route, user_id, duration_ms, status_code). Một bộ tổng hợp tập trung như Loki, CloudWatch Logs hoặc Datadog sau đó có thể đánh chỉ mục và truy vấn chúng.

Trong Python với FastAPI, hãy dùng module `logging` kèm JSON formatter thay vì phụ thuộc vào `print`:

python
import logging
import json
from datetime import datetime, timezone
class JsonFormatter(logging.Formatter):
def format(self, record):
return json.dumps({
"ts": datetime.now(timezone.utc).isoformat(),
"level": record.levelname,
"msg": record.getMessage(),
"route": getattr(record, "route", None),
"duration_ms": getattr(record, "duration_ms", None),
})
logger = logging.getLogger("app")
handler = logging.StreamHandler()
handler.setFormatter(JsonFormatter())
logger.addHandler(handler)
logger.setLevel(logging.INFO)

Giờ đây mỗi dòng log là một object JSON mà bộ tổng hợp của bạn có thể lọc theo trường. Trong Node.js, lựa chọn tương đương là `pino`; trong Go hãy dùng `zap` hoặc `slog`. Điểm mấu chốt là sự nhất quán: chọn một định dạng và áp dụng ở mọi nơi — bao gồm cả log từ background worker và cron job.

Theo dõi lỗi

Log cho bạn biết chuyện gì đã xảy ra; error tracker cho bạn biết khi nào và thường xuyên như thế nào một thứ bị hỏng, kèm theo stack trace đầy đủ và khả năng gom nhóm. Hai công cụ phổ biến nhất là Sentry và Rollbar. Cả hai đều cài đặt qua một SDK bao bọc ứng dụng của bạn, thu nhận các exception chưa được xử lý và gom các lỗi lặp lại thành các issue.

Đối với ứng dụng Node.js Express, việc khởi tạo chỉ gồm hai dòng:

javascript
const Sentry = require("@sentry/node");
Sentry.init({ dsn: process.env.SENTRY_DSN, tracesSampleRate: 0.2 });

Đối với Python Flask, tương đương là `sentry-sdk` với `FlaskIntegration`. Sau khi khởi tạo, mọi exception chưa được xử lý sẽ tự động được báo cáo kèm theo stack trace đầy đủ, request headers và phiên bản release của ứng dụng. Cấu hình quan trọng: đặt `tracesSampleRate` trong khoảng 0.1 đến 0.3 cho môi trường production — việc lấy mẫu 100% trace tốn kém và hiếm khi cần thiết. Gắn context liên quan đến nghiệp vụ bằng `tags` (ví dụ: `plan: pro`) để bạn có thể lọc lỗi theo phân khúc người dùng.

Một lỗi phổ biến: chỉ theo dõi lỗi ở tiến trình chính. Nếu bạn chạy các background worker (Celery, BullMQ, Sidekiq), mỗi worker cần được khởi tạo SDK riêng. Nếu không, lỗi trong worker chạy ngầm sẽ không bao giờ được phát hiện.

Giám sát Hiệu năng và Bối Tín Hiệu Vàng

Framework "Bối Tín Hiệu Vàng" của Google là điểm khởi đầu cho bất kỳ dashboard hiệu năng nào. Latency (độ trễ): thời gian request được xử lý (p50, p95, p99 — không chỉ trung bình). Traffic (lưu lượng): số request mỗi giây. Errors (lỗi): tỷ lệ request thất bại. Saturation (bão hòa): mức độ gần với giới hạn năng lực (CPU, bộ nhớ, độ sâu hàng đợi).

dashboard với bốn panel hiển thị biểu đồ đường latency p95, biểu đồ cột traffic, biểu đồ đường tỷ lệ lỗi và đồng hồ đo CPU saturation

Trong thực tế, bạn đo các chỉ số này bằng Prometheus + Grafana (tự host) hoặc Datadog / New Relic (dịch vụ quản lý). Đối với triển khai Kubernetes, node-exporter của Prometheus và các thư viện client ứng dụng (ví dụ: `prometheus-fastapi-instrumentator`, `prom-client` cho Node) cung cấp endpoint `/metrics` mà Prometheus scrape mỗi 15 giây. Sau đó Grafana trực quan hóa chúng với các alerting rule (ví dụ: gọi on-call khi latency p95 vượt 2 giây trong 5 phút).

Đối với các ứng dụng AI-heavy, hãy thêm một custom metric: chi phí API bên ngoài trên mỗi request. Theo dõi số token đã tiêu thụ hoặc USD đã chi cho mỗi request — đây là cách duy nhất để phát hiện chi phí tăng vọt do vòng lặp vô hạn hoặc prompt bị cấu hình sai.

Quy Tắc Auto-Scaling

Auto-scaling thêm hoặc bớt năng lực tính toán dựa trên các metric tải. Trên Kubernetes, sử dụng Horizontal Pod Autoscaler (HPA). Trên AWS, sử dụng ECS Service Auto Scaling hoặc EC2 Auto Scaling Groups. Trên các nền tảng serverless (Vercel, Cloud Run, Lambda), việc scale thường tự động nhưng bạn kiểm soát concurrency và memory.

Cấu hình cốt lõi giống nhau ở mọi nơi: một metric cần theo dõi (CPU, memory, request-per-pod, queue depth) và các ngưỡng mục tiêu. Dưới đây là một HPA Kubernetes điển hình:

yaml
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: web-app-hpa
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: web-app
minReplicas: 2
maxReplicas: 20
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 60
- type: Pods
pods:
metric:
name: http_requests_per_second
target:
type: AverageValue
averageValue: "100"

HPA này scale trong khoảng từ 2 đến 20 pod, tăng năng lực khi CPU vượt 60% hoặc khi trung bình request-per-pod vượt 100/giây. Đặt `minReplicas: 2` (không phải 1) giúp tránh downtime trong quá trình deploy và rolling update. Đặt `maxReplicas` quá thấp sẽ gây throttle khi có spike; quá cao sẽ dẫn đến chi phí cloud tăng vọt — hãy tính toán dựa trên kịch bản tốn kém nhất trong thực tế, không phải mức trung bình.

Đối với workload AI, việc chỉ scale dựa trên CPU là sai lầm vì nút thắt cổ chai thường là cuộc gọi API bên ngoài đang chờ OpenAI hoặc truy vấn database. Hãy scale theo độ sâu hàng đợi (queue depth - số request đang chờ trong task queue), hoặc kết hợp cả CPU lẫn queue depth. Cold-start latency cũng là một yếu tố: hãy giữ ít nhất một pod luôn warm nếu latency hướng người dùng là vấn đề quan trọng.

flowchart mô tả load spike kích hoạt HPA scale-up, các pod mới được thêm vào, load balancing, sau đó scale-down sau cooldown

Tổng kết

Monitoring và auto-scaling không phải hai pha tách biệt — chúng tạo thành một vòng feedback. Metrics cho biết khi nào cần scale; logs và error tracker cho biết cái gì đang vỡ dưới tải; auto-scaling ngăn chặn việc vỡ đó. Riêng với cácứng dụng do AI tạo ra, rủi ro đặc thù là chi phí API bên ngoài tăng vọt không kiểm soát và latency không thể dự đoán từ các lệnh gọi model, vì vậy hãy theo dõi các chỉ số đó một cách tường minh. Bắt đầu đơn giản: một structured logger, một error tracker (Sentry), một HPA cơ bản dựa trên CPU. Chỉ thêm độ phức tạp khi dashboard cho thấy bạn cần.

Luyện tập sau buổi học

Bài kiểm tra cuối bài

Ôn lại kiến thức, thử sức và nhận góp ý cho bài làm.

0/1
Đã trả lời · 0/1