Hai maquette chạy ở hai cụm tòa nhà không tự động tạo thành một thử nghiệm A/B đáng tin. Nếu hai cụm khác nhau về quy mô, lịch phát, ưu đãi hoặc đặc điểm người sử dụng, chênh lệch kết quả có thể không đến từ creative. Thử nghiệm tốt cần bắt đầu bằng một giả thuyết rõ và cách so sánh được thiết kế trước khi lên sóng.

Trước tiên, thử nghiệm cần trả lời câu hỏi gì?

Một thử nghiệm nên tập trung vào một quyết định mà thương hiệu thực sự cần đưa ra. Chẳng hạn: lời mời “xem bộ sưu tập” hay “đặt lịch tư vấn” tạo nhiều lượt đăng ký hợp lệ hơn? Hai câu này có thể dẫn tới những hành vi khác nhau, nên chỉ đếm lượt mở trang sẽ chưa trả lời đúng câu hỏi về đăng ký.

Hãy viết giả thuyết thành một câu có biến thay đổi và kết quả cần quan sát. Ví dụ minh họa: với cùng sản phẩm, ưu đãi và trang đích, phiên bản nhấn vào dịch vụ tư vấn có thể tạo tỷ lệ đăng ký hợp lệ khác phiên bản nhấn vào hình ảnh sản phẩm. Đây là điều cần kiểm tra, không phải một dự báo chắc chắn.

Từ giả thuyết, đội ngũ chọn một chỉ số chính và một số chỉ số hỗ trợ. Chỉ số chính giúp ra quyết định; chỉ số hỗ trợ giúp giải thích. Nếu chọn lại chỉ số sau khi thấy kết quả, thương hiệu dễ vô tình chỉ giữ cách đọc có lợi cho phương án mình thích.

Chỉ nên thay một yếu tố hay thay cả ý tưởng?

Cả hai cách đều có thể hữu ích, nhưng chúng trả lời những câu hỏi khác nhau. Khi chỉ đổi headline và giữ các thành phần khác, kết quả có thể giúp đánh giá tác động của cách diễn đạt trong phạm vi thiết kế thử nghiệm. Khi thay cả hình ảnh, headline, ưu đãi và trang đích, kết quả chỉ cho biết phương án tổng thể nào hoạt động khác, không tách riêng được yếu tố tạo khác biệt.

Với bước thử đầu tiên, nên ưu tiên thay đổi có ý nghĩa và dễ triển khai. Không nhất thiết thử màu của một nút rất nhỏ nếu bài toán thật sự nằm ở việc khách hàng chưa hiểu lợi ích sản phẩm. Những nguyên tắc cơ bản về nhận diện, thông điệp và bố cục vẫn cần được xử lý trước trong thiết kế quảng cáo thang máy.

Cũng không nên ép hai mẫu có định dạng khác nhau vào một phép so sánh đơn giản. TVC trên LCD và key visual trên Digital Frame có thể đảm nhận vai trò khác nhau; nếu đồng thời đổi format, vị trí và creative, việc kết luận riêng về maquette sẽ thiếu cơ sở.

Vì sao không nên tùy ý chọn một cụm chạy A và một cụm chạy B?

Mỗi cụm có thể khác nhau về loại tòa nhà, số điểm phát, lịch hoạt động hoặc mức độ phù hợp với sản phẩm. Ví dụ, một chương trình đặt lịch showroom gần cụm A hơn cụm B có thể tạo chênh lệch đăng ký vì quãng đường, ngay cả khi hai creative tương đương.

Một hướng thiết kế là nhóm các địa điểm có đặc điểm quan trọng tương đồng, sau đó phân bổ phiên bản trong từng nhóm theo nguyên tắc phù hợp. Hướng dẫn của NIST về thiết kế khối ngẫu nhiên trình bày cách dùng các khối tương đối đồng nhất để kiểm soát yếu tố nhiễu, rồi ngẫu nhiên hóa bên trong khối. Áp dụng vào media cần có người phụ trách nghiên cứu kiểm tra đơn vị phân bổ và dữ liệu thực tế, không chỉ sao chép một sơ đồ.

Nếu một người thường xuyên đi qua cả hai nhóm màn hình, họ có thể tiếp xúc với cả A và B. Điều này cần được xem xét trong thiết kế và diễn giải; không nên mặc định mỗi tòa nhà tương ứng với một nhóm người hoàn toàn độc lập.

Những yếu tố nào cần giữ nhất quán?

Các yếu tố ngoài biến thử cần được khóa hoặc ghi nhận đủ để giải thích chênh lệch. Điều này thường bao gồm thời gian triển khai, điều kiện ưu đãi, trang đích, định dạng, cách ghi sự kiện và quy trình xử lý khách hàng. Nếu nhóm A chạy vào ngày thường còn B chạy dịp lễ, sự khác nhau về thời điểm có thể ảnh hưởng kết quả.

Bảng này không có nghĩa mọi yếu tố đều có thể kiểm soát tuyệt đối. Mục đích là biết yếu tố nào có thể làm sai lệch so sánh và phải được nêu khi đọc kết quả.

Chạy bao lâu và bao nhiêu điểm phát mới đủ?

Không có một số ngày hay số màn hình chung bảo đảm kết luận cho mọi thử nghiệm. Quy mô cần thiết phụ thuộc chỉ số chính, mức dao động, khác biệt mà thương hiệu muốn phát hiện, cách phân cụm và lượng hành động dự kiến. Một chiến dịch có rất ít đăng ký có thể chưa đủ dữ liệu dù đã chạy trên nhiều màn hình.

Thời điểm dừng nên được thống nhất trước, cùng cách xử lý trường hợp hệ thống ghi nhận lỗi hoặc một nhóm bị gián đoạn. Việc kiểm tra mỗi ngày rồi dừng ngay lúc phương án ưa thích dẫn trước có thể tạo ra kết luận thiếu ổn định. Nếu cần ra quyết định đầu tư lớn, nên có người phụ trách thống kê hoặc đối tác nghiên cứu tham gia thiết kế.

Trong trường hợp dữ liệu hạn chế, kết quả vẫn có thể giúp hình thành giả thuyết cho vòng tiếp theo. Cách diễn đạt phù hợp là “chưa đủ cơ sở phân biệt hai phương án” thay vì cố công bố một mẫu chiến thắng.

Nên đọc kết quả theo thứ tự nào?

Trước hết, kiểm tra cả hai phiên bản có chạy đúng kế hoạch và đường dẫn có hoạt động không. Tiếp theo, xem cách phân nhóm có bị thay đổi, dữ liệu có thiếu và cách xử lý lead có thống nhất không. Chỉ sau đó mới so chỉ số chính theo thiết kế đã chọn.

Giả sử A có nhiều lượt mở trang hơn nhưng B có nhiều đăng ký hợp lệ hơn. Nếu mục tiêu chính là đăng ký, không thể chọn A chỉ vì lượt truy cập đẹp hơn. Ngược lại, nếu chiến dịch nhằm giúp nhiều người tìm hiểu danh mục, kết luận có thể khác. Không có “creative thắng” tách rời mục tiêu và phạm vi thử.

Ngay cả khi một phương án tạo kết quả tốt hơn trong thử nghiệm, vẫn cần phân biệt kết quả đó với việc quy toàn bộ doanh số cho quảng cáo thang máy. Bài về Measurement và Attribution trong DOOH giải thích vì sao ghi nhận, liên hệ và tác động gia tăng là những cấp độ khác nhau.

Biến kết quả thành lần triển khai tiếp theo

Một báo cáo thử nghiệm hữu ích nên lưu giả thuyết ban đầu, phiên bản creative, cách phân nhóm, sự cố, kết quả và giới hạn. Phần khuyến nghị cần nêu rõ giữ nguyên, điều chỉnh hay thử tiếp điều gì, thay vì chỉ đánh dấu A hoặc B là mẫu tốt hơn.

Khi làm việc với Focus Media Việt Nam, thương hiệu có thể đưa nhu cầu thử creative vào brief để trao đổi về khả năng phân phối nội dung và dữ liệu cần thiết. Việc triển khai A/B có kiểm soát và kết luận ở mức nào cần được thống nhất theo điều kiện của dự án.

Câu hỏi thường gặp

Hai mẫu chạy luân phiên trên cùng màn hình có phải A/B test không?

Đó có thể là một cách triển khai thử, nhưng chưa đủ để bảo đảm tính hợp lệ. Cần xem ảnh hưởng của thời gian, khả năng một người thấy cả hai mẫu và cách đo kết quả.

Có thể chọn mẫu tốt hơn dựa trên lượt quét QR không?

Chỉ khi lượt quét là chỉ số phù hợp với câu hỏi thử nghiệm và các điều kiện so sánh được kiểm soát. Nếu mục tiêu là lead hợp lệ, cần theo dõi tới bước đó.

Thử nghiệm không tìm được mẫu thắng có vô ích không?

Không. Nó có thể cho thấy dữ liệu chưa đủ hoặc khác biệt giữa hai phương án chưa rõ trong điều kiện đã thử, giúp tránh một quyết định quá tự tin.