Hoàn thành bài "Chương 7 – Bài 3: Agent Email, phân tích dữ liệu, đọc PDF và hỏi đáp tài liệu" trước để mở khoá bài này.Đến bài trước

Giới thiệu

AI xử lý giọng nói đang chuyển từ "tính năng thú vị" thành hạ tầng thực sự trong doanh nghiệp. Một tổng đài AI có thể xử lý hàng trăm cuộc gọi đồng thời mà không cần agent người, trong khi meeting assistant ghi chép, tóm tắt và tạo action item ngay sau khi họp kết thúc. Bài này xây dựng cả hai hệ thống từ đầu, dùng các API phổ biến và có thật trên thị trường.

Stack sử dụng trong bài: OpenAI Whisper để speech-to-text, OpenAI TTS hoặc ElevenLabs để text-to-speech, Twilio để xử lý cuộc gọi điện thoại, và GPT-4o để hiểu ngữ nghĩa và sinh phản hồi.

Kiến trúc hệ thống AI Call Center

Một cuộc gọi đến tổng đài AI đi qua 4 bước chính: nhận âm thanh từ đường dây điện thoại, chuyển âm thanh thành văn bản, đưa văn bản vào LLM để xử lý ý định và sinh phản hồi, rồi chuyển phản hồi thành giọng nói và phát lại.

sơ đồ luồng 4 bước xử lý cuộc gọi AI: Điện thoại → STT (Whisper) → LLM (GPT-4o) → TTS → Phát lại cho người gọi

Twilio xử lý phần nhận và phát âm thanh qua webhook. Khi có cuộc gọi đến, Twilio gọi một URL trên server của bạn và chờ hướng dẫn dưới dạng TwiML.

Cấu hình webhook nhận cuộc gọi và bắt đầu ghi âm:

python
from flask import Flask, request, Response
from twilio.twiml.voice_response import VoiceResponse, Gather
app = Flask(__name__)
@app.route("/incoming-call", methods=["POST"])
def incoming_call():
response = VoiceResponse()
gather = Gather(
input="speech",
action="/process-speech",
method="POST",
language="vi-VN",
speech_timeout="auto"
)
gather.say("Xin chào, tôi là trợ lý AI. Bạn cần hỗ trợ gì?", language="vi-VN")
response.append(gather)
return Response(str(response), mimetype="text/xml")

Khi người dùng nói xong, Twilio gửi transcript thô đến endpoint `/process-speech`. Tại đây bạn đưa nội dung vào GPT-4o với system prompt định nghĩa vai trò tổng đài:

python
import openai
from flask import Flask, request, Response
from twilio.twiml.voice_response import VoiceResponse, Gather
client = openai.OpenAI()
SYSTEM_PROMPT = """
Bạn là tổng đài viên AI của công ty ABC. Nhiệm vụ:
- Hỗ trợ tra cứu đơn hàng, chính sách đổi trả
- Nếu không xử lý được, chuyển máy cho agent người
- Trả lời ngắn gọn, không quá 2 câu mỗi lượt
- Luôn dùng tiếng Việt
"""
@app.route("/process-speech", methods=["POST"])
def process_speech():
user_speech = request.form.get("SpeechResult", "")
completion = client.chat.completions.create(
model="gpt-4o",
messages=[
{"role": "system", "content": SYSTEM_PROMPT},
{"role": "user", "content": user_speech}
]
)
ai_reply = completion.choices[0].message.content
response = VoiceResponse()
gather = Gather(
input="speech",
action="/process-speech",
method="POST",
language="vi-VN",
speech_timeout="auto"
)
gather.say(ai_reply, language="vi-VN")
response.append(gather)
return Response(str(response), mimetype="text/xml")

Lưu ý: hệ thống trên là stateless — mỗi lượt gọi không nhớ lượt trước. Để duy trì ngữ cảnh hội thoại, bạn cần lưu lịch sử tin nhắn theo session, thường dùng Redis với key là CallSid của Twilio.

Ghi chép và tóm tắt cuộc họp tự động

Meeting assistant hoạt động theo luồng đơn giản hơn: ghi âm toàn bộ cuộc họp, sau đó xử lý hàng loạt. Không cần phản hồi real-time nên không phải lo độ trễ.

Bước 1 là transcribe file âm thanh dùng Whisper API:

python
import openai
client = openai.OpenAI()
def transcribe_meeting(audio_file_path: str) -> str:
with open(audio_file_path, "rb") as audio_file:
transcript = client.audio.transcriptions.create(
model="whisper-1",
file=audio_file,
language="vi",
response_format="verbose_json",
timestamp_granularities=["segment"]
)
# verbose_json trả về segments với timestamp, hữu ích khi cần tìm lại
full_text = " ".join([seg["text"] for seg in transcript.segments])
return full_text

Bước 2 là đưa transcript vào GPT-4o để sinh tóm tắt có cấu trúc:

python
def analyze_meeting(transcript: str) -> dict:
prompt = f"""
Dựa vào transcript cuộc họp sau, hãy trả về JSON với cấu trúc:
{{
"summary": "tóm tắt 3-5 câu về nội dung chính",
"decisions": ["quyết định 1", "quyết định 2"],
"action_items": [
{{"task": "tên việc", "owner": "tên người", "deadline": "deadline nếu được đề cập"}}
],
"next_meeting": "thông tin cuộc họp tiếp theo nếu có"
}}
Transcript:
{transcript}
"""
completion = client.chat.completions.create(
model="gpt-4o",
messages=[{"role": "user", "content": prompt}],
response_format={"type": "json_object"}
)
import json
return json.loads(completion.choices[0].message.content)

Kết quả trả về là JSON có thể đưa thẳng vào Notion, Jira, hoặc gửi email tóm tắt sau họp.

sơ đồ luồng xử lý meeting assistant: File ghi âm → Whisper STT → Transcript → GPT-4o phân tích → JSON output gồm Summary, Decisions, Action Items

Lỗi thường gặp

Lỗi đầu tiên là transcript ra sai do chất lượng âm thanh kém. Whisper hoạt động tốt với file rõ tiếng, nhưng họp online nhiều người nói lẫn nhau thì kết quả sẽ lộn xộn. Giải pháp là yêu cầu mỗi người dùng micro riêng và bật noise cancellation, hoặc dùng dịch vụ như AssemblyAI hỗ trợ speaker diarization — phân biệt được ai đang nói.

Lỗi thứ hai là transcript quá dài vượt context window. File họp 2 tiếng có thể ra 30.000 token. Cần chia nhỏ transcript thành các đoạn 4.000-6.000 token, tóm tắt từng đoạn, rồi tóm tắt lần hai từ các tóm tắt con — kỹ thuật này gọi là map-reduce summarization.

Lỗi thứ ba trong call center là không quản lý state hội thoại. Nếu người dùng hỏi "đơn hàng của tôi" mà trước đó đã nói mã đơn hàng, hệ thống stateless sẽ không biết "của tôi" là đơn nào. Luôn lưu lại toàn bộ lịch sử turns trong session.

Tổng kết

Hai hệ thống trong bài đều dùng cùng bộ nguyên liệu — Whisper, GPT-4o, TTS — nhưng kiến trúc khác nhau vì yêu cầu khác nhau. Call center cần real-time, stateful, tích hợp telephony qua Twilio. Meeting assistant cần batch processing, output có cấu trúc, và xử lý được file dài. Hiểu rõ sự khác biệt này giúp bạn chọn đúng kiến trúc cho từng bài toán thực tế.

Luyện tập sau buổi học

Bài kiểm tra cuối bài

Ôn lại kiến thức, thử sức và nhận góp ý cho bài làm.

0/1
Đã trả lời · 0/1