Giới thiệu
AI xử lý giọng nói đang chuyển từ "tính năng thú vị" thành hạ tầng thực sự trong doanh nghiệp. Một tổng đài AI có thể xử lý hàng trăm cuộc gọi đồng thời mà không cần agent người, trong khi meeting assistant ghi chép, tóm tắt và tạo action item ngay sau khi họp kết thúc. Bài này xây dựng cả hai hệ thống từ đầu, dùng các API phổ biến và có thật trên thị trường.
Stack sử dụng trong bài: OpenAI Whisper để speech-to-text, OpenAI TTS hoặc ElevenLabs để text-to-speech, Twilio để xử lý cuộc gọi điện thoại, và GPT-4o để hiểu ngữ nghĩa và sinh phản hồi.
Kiến trúc hệ thống AI Call Center
Một cuộc gọi đến tổng đài AI đi qua 4 bước chính: nhận âm thanh từ đường dây điện thoại, chuyển âm thanh thành văn bản, đưa văn bản vào LLM để xử lý ý định và sinh phản hồi, rồi chuyển phản hồi thành giọng nói và phát lại.
Twilio xử lý phần nhận và phát âm thanh qua webhook. Khi có cuộc gọi đến, Twilio gọi một URL trên server của bạn và chờ hướng dẫn dưới dạng TwiML.
Cấu hình webhook nhận cuộc gọi và bắt đầu ghi âm:
Khi người dùng nói xong, Twilio gửi transcript thô đến endpoint `/process-speech`. Tại đây bạn đưa nội dung vào GPT-4o với system prompt định nghĩa vai trò tổng đài:
Lưu ý: hệ thống trên là stateless — mỗi lượt gọi không nhớ lượt trước. Để duy trì ngữ cảnh hội thoại, bạn cần lưu lịch sử tin nhắn theo session, thường dùng Redis với key là CallSid của Twilio.
Ghi chép và tóm tắt cuộc họp tự động
Meeting assistant hoạt động theo luồng đơn giản hơn: ghi âm toàn bộ cuộc họp, sau đó xử lý hàng loạt. Không cần phản hồi real-time nên không phải lo độ trễ.
Bước 1 là transcribe file âm thanh dùng Whisper API:
Bước 2 là đưa transcript vào GPT-4o để sinh tóm tắt có cấu trúc:
Kết quả trả về là JSON có thể đưa thẳng vào Notion, Jira, hoặc gửi email tóm tắt sau họp.
Lỗi thường gặp
Lỗi đầu tiên là transcript ra sai do chất lượng âm thanh kém. Whisper hoạt động tốt với file rõ tiếng, nhưng họp online nhiều người nói lẫn nhau thì kết quả sẽ lộn xộn. Giải pháp là yêu cầu mỗi người dùng micro riêng và bật noise cancellation, hoặc dùng dịch vụ như AssemblyAI hỗ trợ speaker diarization — phân biệt được ai đang nói.
Lỗi thứ hai là transcript quá dài vượt context window. File họp 2 tiếng có thể ra 30.000 token. Cần chia nhỏ transcript thành các đoạn 4.000-6.000 token, tóm tắt từng đoạn, rồi tóm tắt lần hai từ các tóm tắt con — kỹ thuật này gọi là map-reduce summarization.
Lỗi thứ ba trong call center là không quản lý state hội thoại. Nếu người dùng hỏi "đơn hàng của tôi" mà trước đó đã nói mã đơn hàng, hệ thống stateless sẽ không biết "của tôi" là đơn nào. Luôn lưu lại toàn bộ lịch sử turns trong session.
Tổng kết
Hai hệ thống trong bài đều dùng cùng bộ nguyên liệu — Whisper, GPT-4o, TTS — nhưng kiến trúc khác nhau vì yêu cầu khác nhau. Call center cần real-time, stateful, tích hợp telephony qua Twilio. Meeting assistant cần batch processing, output có cấu trúc, và xử lý được file dài. Hiểu rõ sự khác biệt này giúp bạn chọn đúng kiến trúc cho từng bài toán thực tế.
Bài kiểm tra cuối bài
Ôn lại kiến thức, thử sức và nhận góp ý cho bài làm.