Giới thiệu

Kiểm tra sáng tạo không chỉ là tung ra nhiều quảng cáo và chọn cái có chi phí trên kết quả thấp nhất. Đó là một quy trình có hệ thống để giảm sự bất định về các lựa chọn sáng tạo ảnh hưởng đến khán giả và kết quả kinh doanh cụ thể. Một thí nghiệm có kỷ luật chuyển một câu hỏi kinh doanh thành một thí nghiệm có thể đo lường, kiểm soát biến phụ và ghi nhận những gì kết quả dạy cho đội ngũ.

Ví dụ, một công ty học ngôn ngữ trực tuyến có thể tin rằng những người đi làm ứng xử tốt hơn với một quảng cáo cho thấy một thói quen hàng ngày ngắn hơn so với quảng cáo tập trung vào tính năng khóa học. Câu hỏi hữu ích không phải là video nào trông tốt hơn. Đó là liệu một thông điệp dựa trên thói quen có tăng số lượt dùng thử đủ điều kiện của nhân viên đang đi làm hay không, trong khi đối tượng, đề nghị, vị trí và sự kiện tối ưu hóa vẫn đủ tương đồng để so sánh.

Một khung kiểm tra mạnh kết nối bốn cấp độ tư duy. Mục tiêu kinh doanh định nghĩa tại sao thử nghiệm lại quan trọng. Giả thuyết dự đoán điều gì sẽ xảy ra và tại sao. Thiết kế thí nghiệm xác định điều gì sẽ thay đổi và điều gì sẽ được kiểm soát. Quy tắc quyết định giải thích đội ngũ sẽ làm gì với bằng chứng.

Xác định Giả thuyết và Ưu tiên Học hỏi

Một giả thuyết nên nêu rõ khán giả, can thiệp sáng tạo, sự thay đổi hành vi kỳ vọng và lý do cho kỳ vọng đó. Một giả thuyết yếu nói rằng một tiêu đề mới sẽ hoạt động tốt hơn. Một giả thuyết mạnh hơn cho biết khách truy cập lần đầu chưa từng mua sẽ tạo ra được nhiều lượt quan tâm đủ điều kiện hơn khi quảng cáo nhấn mạnh một kết quả tài chính cụ thể, bởi vì kết quả này liên quan trực tiếp đến vấn đề hiện tại của họ hơn một cam kết thương hiệu chung.

Giả thuyết phải đủ hẹp để kiểm tra trong một so sánh có ý nghĩa. Nếu một đội thay đổi cảnh mở đầu, tiêu đề, ưu đãi, kêu gọi hành động, nhạc nền, trang đích và đối tượng đồng thời, kết quả chiến thắng sẽ không cho thấy yếu tố nào đã cải thiện. Loại thử nghiệm đó vẫn có thể hữu ích như một khám phá khái niệm rộng, nhưng không phải là một thí nghiệm sạch cho bất kỳ biến sáng tạo đơn lẻ nào.

Đặt ưu tiên học hỏi trước khi chi ngân sách. Các thí nghiệm sớm có thể ưu tiên xác định một góc thông điệp mạnh, trong khi các thí nghiệm sau đó có thể ưu tiên cải thiện ba giây đầu tiên, bằng chứng, framing đề nghị hoặc lời kêu gọi hành động. Khi ưu tiên học hỏi rõ ràng, một kết quả yếu vẫn hữu ích nếu nó loại bỏ một giả định quan trọng. Đội ngũ nên ghi chép câu hỏi, kết quả dự kiến, mức độ tự tin và quyết định sẽ theo sau mỗi kết quả có thể."

Phân tách Biến và Xây dựng Cells thử nghiệm

Một biến là yếu tố sáng tạo được cố ý thay đổi giữa các ô thử nghiệm. Các biến phổ biến bao gồm thông điệp cốt lõi, cách đặt vấn đề, trình diễn sản phẩm, người phát ngôn, mở đầu thu hút, phong cách trực quan, loại chứng cứ, cách trình bày ưu đãi và lời kêu gọi hành động. Ô kiểm soát là sáng tạo hiện có hoặc tham chiếu chuẩn. Ô thách thức thay đổi một biến ưu tiên trong khi giữ các điều kiện quan trọng khác tương đối nhất quán.

Giả sử một công ty giao đồ ăn muốn thử tiện lợi so với kết quả sức khỏe. Video kiểm soát mở đầu với cảnh quay cận cảnh một bữa ăn đã chuẩn bị và nhấn mạnh dinh dưỡng. Ô thách thức mở đầu bằng việc khách hàng về nhà muộn và nhận bữa tối đã sẵn sàng để ăn, trong khi sản phẩm, ưu đãi, đối tượng, vị trí và trang đích vẫn được căn chỉnh. Thiết kế này kiểm tra góc thông điệp trực diện hơn so với việc sản xuất hai video một cách riêng biệt với các diễn viên, độ dài, ưu đãi và nhạc khác nhau.

Không phải mọi thử nghiệm đều phải cô lập một đặc tính vi mô. Các đội sáng tạo thường cần so sánh toàn bộ khái niệm vì một quảng cáo hoạt động như một hệ thống tích hợp. Yếu tố quan trọng là dán nhãn thử nghiệm một cách trung thực. Thử nghiệm khái niệm hỏi direction sáng tạo tổng thể nào mạnh hơn. Thử nghiệm biến cho biết yếu tố cụ thể nào đã gây ra sự khác biệt. Việc nhầm lẫn hai mục đích này dẫn tới kết luận quá tự tin.

Hãy sử dụng ma trận thử nghiệm để ngăn ngừa sự phức tạp vô tình. Mỗi hàng nên xác định ô, khái niệm hoặc biến, đối tượng, vị trí, phân bổ ngân sách, ngày ra mắt, thước đo chính và trạng thái. Nếu một số biến phải thay đổi cùng lúc để có một khái niệm hợp lệ, hãy ghi chúng lại như một gói thay vì cho rằng chỉ một yếu tố duy nhất được chứng minh.

Chọn Đối tượng và Kiểm soát BContext

Việc chọn đối tượng nên phản ánh câu hỏi kinh doanh, không chỉ các tùy chọn nhắm mục tiêu có sẵn của nền tảng. Một prospect khách hàng mới, một khách hàng hiện tại và một khách hàng đã mất có thể diễn giải cùng một sáng tạo theo các cách khác nhau. Nếu giả thuyết liên quan đến nhận thức, hãy sử dụng đối tượng có mức tiếp xúc trước hạn chế. Nếu liên quan đến mua hàng lặp lại, hãy sử dụng một phân khúc có lịch sử khách hàng liên quan và đánh giá một kết quả xuống dòng phù hợp.

Tránh ghép ghép các khán giả có mức độ Intent khác nhau khi kết quả sẽ được dùng để chỉ đạo chiến lược sáng tạo. Một đối tượng nhắm lại có thể cho ra chi phí thu hút thấp hơn bởi vì mọi người đã biết thương hiệu, không phải vì thông điệp được thử nghiệm mạnh hơn về bản chất. Tương tự, một đối tượng rộng có thể yêu cầu nhiều thời gian và ngân sách hơn trước khi kết quả chuyển đổi trở nên giải thích được.

Giữ các điều kiện phân phối chính ở mức tương tự. Tổ hợp vị trí hiển thị, sự kiện tối ưu hóa, phương thức đấu thầu, địa lý, ưu đãi, trang đích và cửa sổ quy đổi có thể ảnh hưởng đáng kể đến kết quả. Việc kiểm soát hoàn hảo hiếm khi khả thi trong một tài khoản quảng cáo đang hoạt động, nhưng nhóm nên xác định các điều kiện có thể làm sai lệch kết luận và giữ chúng ổn định hoặc ghi nhận chúng như giới hạn.

Khi một doanh nghiệp cần sáng tạo khác nhau cho các phân khúc, thử nghiệm trong phân khúc thay vì lấy trung bình tất cả với nhau. Ví dụ, một thương hiệu chăm sóc da cao cấp có thể so sánh một khái niệm dựa trên thành phần và một khái niệm dựa trên kết quả riêng biệt giữa khách prospects mới và khách truy cập trang hiện tại. Khái niệm thắng có thể khác nhau theo từng phân khúc, và sự khác biệt này là một kết quả học tập có giá trị.

Chọn Thước đo và Quy tắc Quyết định

Chọn một thước đo thành công chính phản ánh giai đoạn phễu đang được thử nghiệm. Đối với thử nghiệm câu mở, tỉ lệ dừng mắt (thumb-stop rate) hoặc tương tác video ban đầu có thể giúp chẩn đoán sự chú ý, nhưng chúng không nên tự động quyết định người chiến thắng. Đối với thử nghiệm tập trung vào chuyển đổi, mua hàng đủ điều kiện, đơn đăng ký hoàn chỉnh hoặc biên lợi nhuận đóng góp có thể phù hợp hơn so với lượt nhấp chuột đơn thuần. Các thước đo phụ giải thích cơ chế, trong khi thước đo chính hỗ trợ quyết định kinh doanh.

Chuỗi metric thực tế có thể bao gồm sự chú ý sớm, mức độ tương tác trên landing page, tỷ lệ chuyển đổi, chi phí acquisition và chất lượng ở cấp độ sau. Một người sáng tạo có thể kiếm lượt nhấp rẻ bằng cách tạo ra sự tò mò mà landing page không đáp ứng được. Người khác có thể tạo ra ít lượt nhấp hơn nhưng khách hàng đủ điều kiện lớn hơn. Nhóm nên định nghĩa những trade-off nào được chấp nhận trước khi thấy kết quả, đặc biệt khi một ô leading về khối lượng và một ô dẫn về hiệu quả.

Quy tắc quyết định nên chỉ rõ bằng chứng tối thiểu cần có để hành động. Nhóm có thể mở rộng một challenger khi nó mang lại cải thiện ý nghĩa cho metric chính mà không làm giảm chất lượng leads hoặc hiệu quả vận hành một cách không chấp nhận được. Nó có thể tiếp tục thử nghiệm khi sự khác biệt nhỏ, khối lượng chưa đủ hoặc các chỉ số phụ mâu thuẫn. Nó có thể bỏ một khái niệm khi nó kém hiệu quả trên metric chính và các chỉ số hỗ trợ sau khi đã có cơ hội công bằng để thể hiện.

Đừng coi một người chiến thắng do nền tảng báo cáo là sự thật phổ quát. Hệ thống phân phối có thể phân phối ấn phẩm không đồng đều, khán giả có thể chồng lấp, và hiệu suất có thể thay đổi khi tần suất tăng lên. Ghi lại chi tiêu, ấn phẩm, reach, tần suất, khối lượng chuyển đổi, định nghĩa metric và ngày kiểm tra. Kết luận nên nêu ra những gì được quan sát, những gì còn chưa chắc chắn và nơi kết quả có thể được áp dụng một cách hợp lý.

Chạy Thử nghiệm và Đọc Kết quả

Trước khi khởi động, xác nhận rằng theo dõi, đặt tên, liên kết đích, điều khoản ưu đãi, trạng thái phê duyệt và các sự kiện chuyển đổi là chính xác. Thiết lập một benchmark trước thử nghiệm bằng creative hiện tại hoặc một giai đoạn tương đồng gần đây. Quyết định trước về thời gian thử nghiệm sẽ chạy bao lâu, điều kiện nào cho phép dừng sớm và điều kiện nào yêu cầu tiếp tục. Tránh thay đổi ngân sách, đối tượng hoặc ô sáng tạo lặp lại trong giai đoạn đọc ban đầu trừ khi có vấn đề kinh doanh hoặc vận hành đòi hỏi can thiệp.

Trong quá trình thử nghiệm, giám sát các vấn đề vận hành thay vì phản ứng với mọi biến động hàng ngày. Kiểm tra xem một ô có nhận được phân phối khác biệt đáng kể, tần suất có gây ra mệt mỏi hay không, nhận xét có tiết lộ hiểu sai thông điệp hay không, và xem sự kiện chuyển đổi có kích hoạt đồng nhất hay không. Những kiểm tra này bảo vệ tính hợp lệ của thử nghiệm, nhưng chúng không thay thế cho giai đoạn đánh giá cuối cùng.

Giải thích kết quả theo từng lớp. Đầu tiên, xác nhận metric chính được đo lường một cách nhất quán. Thứ hai, so sánh kích thước và hướng của sự khác biệt. Thứ ba, rà soát các metric hỗ trợ để hiểu tại sao sự khác biệt xảy ra. Cuối cùng, đánh giá xem kết quả có mang tính chiến lược hay không. Một khái niệm thắng sít sao nhưng không thể sản xuất ở quy mô có thể kém giá trị hơn so với một khái niệm nhẹ hơn một chút nhưng có footage có thể tái sử dụng, thông điệp rõ ràng và hiệu suất mạnh trên nhiều phân khúc.

Biến kết quả thành một Hệ thống học tập

Mỗi thử nghiệm nên kết thúc bằng một quyết định rõ ràng: mở rộng, lặp lại, thử lại, phân đoạn hoặc dừng. Nếu khái niệm học ngôn ngữ theo thói quen dựa trên routine cải thiện các thử nghiệm đủ điều kiện giữa các chuyên gia đang làm việc, thử nghiệm tiếp theo có thể xem xét các hook routine khác nhau hoặc các định dạng bằng chứng trong hướng đi chiến thắng này. Nếu nó cải thiện lượt nhấp nhưng không cải thiện thử nghiệm, nhóm nên điều tra sự liên tục giữa thông điệp và trang đích hơn là simply sản xuất thêm phiên bản cùng hook.

Lưu kết quả vào một thư viện học tập sáng tạo. Ghi lại giả thuyết, thiết kế thử nghiệm, khán giả, ngày tháng, chi tiêu, metric chính và phụ, kết quả, diễn giải và hành động tiếp theo. Gắn thẻ các entries theo góc thông điệp, cấu trúc hình ảnh, hook mở đầu, loại bằng chứng, ưu đãi, đối tượng và giai đoạn phễu. Theo thời gian, thư viện này trở nên có giá trị hơn so với danh sách các người chiến thắng riêng lẻ vì nó tiết lộ các mẫu và ranh giới.

Tránh biến một kết quả thành quy tắc vĩnh viễn. Một testimonial thành công có thể hiệu quả vì vấn đề khách hàng cụ thể, mùa vụ, ưu đãi, hoặc mức độ nhận thức về thương hiệu. Xem các kết luận như các phát biểu điều kiện, ví dụ như thông điệp này cải thiện leads đủ điều kiện giữa những prospects mới dưới ưu đãi và sự pha trộn vị trí này. Kiểm tra lại các kết quả quan trọng khi đối tượng, sản phẩm, định giá hoặc ngữ cảnh thị trường thay đổi.

Mục tiêu không phải là tối đa hóa số lượng thử nghiệm được tiến hành. Mục tiêu là tối đa hóa chất lượng và sự tái sử dụng của quá trình học tập. Ưu tiên các thử nghiệm có thể thay đổi phân bổ ngân sách, cải thiện một giới hạn lớn trong funnel, làm rõ một nhu cầu có giá trị cao của đối tượng người dùng, hoặc tạo ra một nền tảng sáng tạo có thể lặp lại. Một số lượng nhỏ các thử nghiệm được thiết kế tốt thường mang lại quyết định tốt hơn so với khối lượng lớn các biến thể bị kiểm soát không đầy đủ.