Giới thiệu
Một hệ thống TikTok AI agent không nên được thiết kế như một cỗ máy tự động hoàn toàn có thể thay đổi chiến dịch mà không có sự giám sát. Nó nên được thiết kế như một hệ điều hành được kiểm soát dành cho các quyết định marketing. Hệ thống này kết hợp dữ liệu chiến dịch, quy tắc kinh doanh, sự phê duyệt từ con người, các thử nghiệm đã được ghi chép lại và đề xuất của agent nhằm cải thiện hiệu suất mà không dẫn đến tình trạng chi tiêu không kiểm soát, phơi bày quyền riêng tư hoặc thực thi thiếu nhất quán.
Mục tiêu của bài học này là xây dựng một framework có thể lặp lại từ giai đoạn lập kế hoạch cho đến báo cáo. Framework này phải giải đáp được năm câu hỏi vận hành: agent được phép quan sát những gì, được phép đề xuất những gì, điều gì cần có sự phê duyệt, điều gì xảy ra khi dữ liệu bị thiếu hoặc mâu thuẫn, và làm thế nào để các quyết định thành công trở thành tri thức có thể tái sử dụng. Một hệ thống an toàn khi các ranh giới của nó được xác định rõ ràng và các quyết định có thể được kiểm tra lại sau khi thực hiện.
Kiến trúc vận hành
Mô hình vận hành thực tế chia hệ thống thành các trách nhiệm riêng biệt. Một data agent chuẩn bị các đầu vào đã được phê duyệt như chi tiêu, lượt hiển thị, lượt nhấp, lượt chuyển đổi, chi phí trên mỗi lượt chuyển đổi, lợi tức chi tiêu quảng cáo, mã định danh creative, cài đặt đối tượng và lịch sử thay đổi gần đây. Một analysis agent xác định các xu hướng hiệu suất và nguyên nhân khả dĩ. Một recommendation agent đề xuất các hành động như thử nghiệm một hook mới, phân bổ lại ngân sách hạn chế, tạm dừng một creative kém hiệu quả hoặc yêu cầu thêm bằng chứng. Người vận hành là con người vẫn chịu trách nhiệm về phán đoán kinh doanh và các quyết định phê duyệt có tác động lớn.
Mỗi agent cần có một hợp đồng đầu vào và định dạng đầu ra được xác định rõ ràng. Ví dụ, một đề xuất cần nêu rõ chiến dịch bị ảnh hưởng, giai đoạn thu thập bằng chứng, mốc cơ sở để so sánh, hành động đề xuất, lợi ích dự kiến, rủi ro chính và mức độ tự tin. Nó cũng phải nêu rõ những thông tin nào còn thiếu. Điều này giúp ngăn ngừa các gợi ý mơ hồ chẳng hạn như cải thiện hiệu suất creative và buộc hệ thống phải liên kết mọi đề xuất với một quyết định có thể đo lường.
Kiến trúc vận hành nên bao gồm một decision register (sổ đăng ký quyết định). Sổ này ghi lại ngày tháng, chiến dịch, đề xuất, người phê duyệt, hành động đã thực hiện, kết quả dự kiến, kết quả thực tế và giải thích cho mọi sai lệch. Theo thời gian, decision register trở nên giá trị hơn các cuộc trò chuyện riêng lẻ của agent vì nó cho thấy đề xuất nào đáng tin cậy trong các điều kiện cụ thể, chẳng hạn như khi ra mắt sản phẩm, chiến dịch retargeting, hoặc giai đoạn theo dõi chuyển đổi không ổn định.

Kiểm soát chất lượng và phê duyệt
Các bước kiểm tra chất lượng nên được thực hiện trước khi một agent diễn giải hiệu suất. Đầu tiên, hãy xác minh tính mới và đầy đủ của dữ liệu. Sự sụt giảm đột ngột về lượng chuyển đổi có thể phản ánh độ trễ trong quá trình theo dõi thay vì một vấn đề hiệu suất thực tế. Người vận hành nên so sánh cửa sổ báo cáo, độ trễ phân bổ, phân phối ngân sách, khối lượng sự kiện chuyển đổi và mọi thay đổi đo lường gần đây trước khi cho phép agent đề xuất thay đổi ngân sách hoặc đối tượng mục tiêu.
Thứ hai, xác thực bối cảnh kinh doanh. Agent cần nắm rõ mục tiêu chiến dịch, khách hàng mục tiêu, khoảng chi phí cho phép, mức trần ngân sách, ngày khuyến mãi, hạn chế về hàng tồn kho và các tuyên bố được phê duyệt. Một chiến dịch chuyển đổi chi phí thấp có thể được đánh giá khác với chiến dịch tiếp cận. Nội dung sáng tạo hiệu quả trong chương trình khuyến mãi giới hạn có thể không còn phù hợp sau khi ưu đãi kết thúc. Các chỉ số hiệu suất không thể tách rời khỏi các điều kiện thương mại đã tạo ra chúng.
Thứ ba, sử dụng các cấp độ phê duyệt dựa trên tác động tiềm năng. Các hành động rủi ro thấp bao gồm chuẩn bị tóm tắt hiệu suất, phân loại chủ đề sáng tạo hoặc đề xuất ý tưởng thử nghiệm. Các hành động rủi ro trung bình bao gồm thay đổi ngân sách thử nghiệm hạn chế hoặc thay thế một nội dung sáng tạo trong nhóm quảng cáo có kiểm soát. Các hành động rủi ro cao bao gồm phân bổ lại ngân sách lớn, thay đổi chiến lược đối tượng, thay đổi ảnh hưởng đến các tuyên bố được quản lý, hoặc các hành động có thể làm tăng đáng kể chi phí. Các quyết định rủi ro cao đòi hỏi sự phê duyệt rõ ràng từ con người và, khi cần thiết, một lần đánh giá thứ hai.
Một quy tắc phê duyệt hữu ích là yêu cầu agent trình bày lý do, giới hạn và điều kiện hoàn tác. Lý do giải thích bằng chứng. Giới hạn xác định ngân sách tối đa, đối tượng, thời lượng hoặc số lượng tài sản bị ảnh hưởng. Điều kiện hoàn tác xác định tín hiệu nào sẽ kích hoạt việc đảo ngược. Ví dụ: một bài kiểm tra có thể chạy trong ba ngày hoặc cho đến khi đạt được một số tiền chi tiêu nhất định, sau đó được xem xét lại dựa trên cơ sở ban đầu. Điều này giúp quá trình thử nghiệm được kiểm soát thay vì mở rộng vô thời hạn.
Bảo mật và Xử lý lỗi
Các biện pháp bảo vệ quyền riêng tư bắt đầu bằng việc tối thiểu hóa dữ liệu. Agent chỉ nên nhận các trường thông tin cần thiết cho quyết định, tốt nhất là ở dạng tổng hợp hoặc ẩn danh. Các mã nhận dạng trực tiếp, thuộc tính khách hàng không cần thiết, nội dung tin nhắn thô và dữ liệu nhạy cảm không nên được bao gồm trong phân tích chiến dịch thông thường. Quyền truy cập phải bị giới hạn theo vai trò và tổ chức phải ghi lại nguồn dữ liệu nào được phê duyệt, thời gian lưu giữ kết quả đầu ra và ai có thể xem lại chúng.
Đội ngũ cũng nên xem nội dung được tạo ra là một bề mặt tuân thủ. Agent có thể tạo ra một kịch bản thuyết phục chứa tuyên bố về sản phẩm không có căn cứ, suy luận khách hàng không phù hợp hoặc ngôn ngữ không nhất quán với chính sách thương hiệu. Do đó, các đề xuất sáng tạo cần được kiểm tra tính chính xác về mặt thực tế, các tuyên bố bị cấm, yêu cầu công bố thông tin, vấn đề sở hữu trí tuệ và sự phù hợp với ưu đãi đã được phê duyệt. Việc con người đánh giá vẫn là điều cần thiết đối với các tài sản hướng ra công chúng, đặc biệt là trong các danh mục được quản lý hoặc nhạy cảm.
Việc xử lý lỗi phải được thiết kế trước khi ra mắt. Nếu dữ liệu cũ, agent nên dán nhãn phân tích là chưa hoàn chỉnh và tránh đề xuất các thay đổi không thể đảo ngược. Nếu các chỉ số mâu thuẫn giữa các nguồn, hệ thống nên tạm dừng quyết định và yêu cầu đối chiếu. Nếu agent đưa ra đề xuất quá mức bất thường, người vận hành nên so sánh nó với giới hạn ngân sách được xác định trước và các quyết định gần đây. Nếu một hành động không thể được xác minh sau khi thực thi, hệ thống nên xử lý trạng thái là không xác định thay vì giả định là thành công.
Một quy trình sự cố đơn giản gồm bốn giai đoạn: phát hiện, cô lập, điều tra và học hỏi. Giai đoạn phát hiện xác định vấn đề, chẳng hạn như chi phí bất ngờ hoặc thiếu sự kiện chuyển đổi. Giai đoạn cô lập ngăn chặn tác động sâu hơn, ví dụ bằng cách tạm dừng thí nghiệm bị ảnh hưởng hoặc yêu cầu phê duyệt thủ công. Giai đoạn điều tra xác định nguyên nhân là do chất lượng dữ liệu, hướng dẫn bị hiểu lầm, thay đổi nền tảng hay lỗi vận hành. Giai đoạn học hỏi cập nhật quy tắc, danh sách kiểm tra, hướng dẫn prompt hoặc cấp độ phê duyệt để lỗi tương tự ít có khả năng tái diễn hơn.

Vòng lặp Cải tiến Liên tục
Cải tiến liên tục nên hoạt động như một chu kỳ có cấu trúc thay vì một tập hợp các tối ưu hóa ad hoc. Bắt đầu bằng việc đánh giá hàng tuần về kết quả chiến dịch và các quyết định của agent. Xác định khuyến nghị nào đã được chấp nhận, từ chối, thực hiện một phần hoặc bị bỏ qua. So sánh kết quả dự kiến và kết quả thực tế, đồng thời đánh giá chất lượng quyết định. Một khuyến nghị có thể vững chắc về mặt chiến lược ngay cả khi kết quả yếu do các yếu tố bên ngoài, trong khi kết quả có lợi nhuận vẫn có thể khó lặp lại nếu nó phụ thuộc vào một sự trùng hợp không được ghi nhận.
Sử dụng một số ít chỉ số vận hành để đánh giá cả hiệu suất chiến dịch và chất lượng hệ thống. Các chỉ số chiến dịch có thể bao gồm chi phí trên mỗi kết quả, tỷ lệ chuyển đổi, lợi nhuận trên chi phí quảng cáo, tốc độ phân bổ ngân sách, chỉ báo bão hòa sáng tạo và hiệu suất thử nghiệm gia tăng. Các chỉ số hệ thống tác tử có thể bao gồm tỷ lệ chấp nhận đề xuất, thời gian chờ phê duyệt, tỷ lệ đề xuất có đầy đủ bằng chứng hỗ trợ, tần suất khôi phục, tỷ lệ sự cố chất lượng dữ liệu và tỷ lệ phần trăm các thay đổi có kết quả ghi nhận rõ ràng. Những thước đo này cho thấy hệ thống đang ngày càng hữu ích hơn hay chỉ đơn thuần tạo ra nhiều phân tích hơn.
Mỗi thử nghiệm phải có một giả thuyết, một nhóm đối chứng hoặc đường cơ sở, một chỉ số thành công chính, ngân sách thử nghiệm, giới hạn thời gian hoặc chi phí, và quy tắc ra quyết định. Ví dụ, một nhóm có thể kiểm tra xem phần mở đầu tập trung vào vấn đề của khách hàng có cải thiện tỷ lệ chuyển đổi chất lượng so với phần mở đầu đang hoạt động tốt nhất hiện tại hay không. Thử nghiệm nên thay đổi một biến số sáng tạo có ý nghĩa nếu có thể, bảo vệ nhóm đối chứng, và tránh tuyên bố thành công từ một mẫu quá nhỏ hoặc không ổn định. Tác tử có thể giúp thiết kế và tóm tắt thử nghiệm, nhưng nhóm kinh doanh mới là bên quyết định xem bằng chứng có đủ để mở rộng quy mô hay không.
Cuối mỗi chu kỳ đánh giá, hãy chuyển đổi các bài học đã được xác thực thành kiến thức vận hành. Ghi lại bối cảnh đối tượng, mẫu sáng tạo, ưu đãi, cửa sổ đo lường, kết quả và độ tin cậy. Phân tách rõ các quy tắc đã được chứng minh khỏi các giả thuyết. Một bài học như các đoạn demo ngắn mang lại hiệu quả tốt hơn cho khách hàng quay lại có thể hữu ích trong một bối cảnh xác định, nhưng không nên trở thành một quy tắc phổ quát nếu thiếu đi bằng chứng lặp lại qua các chiến dịch liên quan.
Danh sách kiểm tra và Tóm tắt Triển khai
Trước khi kích hoạt hệ thống, hãy xác nhận rằng các mục tiêu chiến dịch và quyền ra quyết định đã được tài liệu hóa, các nguồn dữ liệu được phê duyệt đã được xác định, các giới hạn quyền riêng tư được thiết lập, và mỗi tác tử có một vai trò cụ thể, giới hạn. Xác nhận rằng các đề xuất bao gồm bằng chứng, mức độ tin cậy, rủi ro, giới hạn và điều kiện khôi phục. Xác nhận rằng các hành động có rủi ro thấp, trung bình và cao có các yêu cầu phê duyệt khác nhau. Xác nhận rằng nội dung sáng tạo hướng ra công chúng phải trải qua quá trình đánh giá tuân thủ và thương hiệu trước khi xuất bản.
Trong quá trình vận hành, hãy kiểm tra tính mới của dữ liệu trước khi diễn giải hiệu suất, so sánh các đề xuất với trần ngân sách, và duy trì một sổ đăng ký quyết định. Không cho phép sự cấp bách vượt qua các biện pháp kiểm soát trong thời điểm hiệu suất suy giảm. Một hệ thống an toàn vẫn có thể hành động nhanh chóng, nhưng hoạt động đó phải thông qua các giới hạn được phê duyệt trước và các luồng leo thang minh bạch. Khi mức độ bất định cao, hành động chính xác là thu thập thêm bằng chứng thay vì thay đổi chiến dịch.
Tiêu chuẩn cuối cùng là tính lặp lại. Một vận hành viên được đào tạo khác phải có khả năng hiểu lý do tại sao một quyết định được đưa ra, tái tạo lại phân tích từ các đầu vào đã phê duyệt, xác định ai đã phê duyệt hành động đó và xác định xem kết quả có biện minh cho sự thay đổi hay không. Các tác tử AI tạo ra giá trị khi chúng cải thiện tốc độ và tính nhất quán của quy trình vận hành này, chứ không phải khi chúng thay thế trách nhiệm giải trình. Một framework có kỷ luật sẽ bảo vệ doanh nghiệp đồng thời mang lại cho đội ngũ nhiều cơ hội hơn để học hỏi và cải thiện.
Bài kiểm tra cuối bài
Ôn lại kiến thức, thử sức và nhận góp ý cho bài làm.