A/B Testing
Lập giả thuyết, đổi một biến chính, chạy đủ cỡ mẫu và thời gian, đọc ý nghĩa thống kê và tránh dừng sớm khi xem kết quả.
- Viết giả thuyết A/B test có thể kiểm chứng
- Hiểu cỡ mẫu, thời gian chạy và ý nghĩa thống kê ở mức dễ hiểu
- Tránh các lỗi phổ biến như peeking và đổi nhiều biến cùng lúc
A/B testing là chia ngẫu nhiên người truy cập thành hai nhóm: nhóm A xem phiên bản hiện tại, nhóm B xem phiên bản thay đổi. So sánh tỷ lệ chuyển đổi giúp biết thay đổi có thật sự tốt hơn hay chỉ do may rủi.
Vì [quan sát từ dữ liệu], nếu chúng ta [thay đổi cụ thể] thì [chỉ số chính] sẽ tăng, vì [lý do về hành vi khách].Quy trình chuẩn
- Chọn một chỉ số chính (ví dụ: gửi form hợp lệ), quyết định trước khi chạy.
- Đổi một biến chính: headline, CTA, ảnh hero, hoặc độ dài form. Đổi nhiều thứ cùng lúc sẽ không biết yếu tố nào tạo khác biệt.
- Ước tính cỡ mẫu cần thiết bằng công cụ tính cỡ mẫu, dựa trên tỷ lệ chuyển đổi hiện tại và mức thay đổi tối thiểu bạn quan tâm.
- Chạy đủ ít nhất một đến hai chu kỳ tuần trọn vẹn để tính cả ngày thường và cuối tuần.
- Không dừng sớm chỉ vì một bên đang dẫn trước.
- Đọc kết quả khi đủ cỡ mẫu đã định, ghi lại bài học dù thắng hay thua.
Ý nghĩa thống kê, hiểu đơn giản
Khi B có tỷ lệ chuyển đổi cao hơn A, câu hỏi là: khác biệt này có thể chỉ do ngẫu nhiên không? Ý nghĩa thống kê đo điều đó. Quy ước phổ biến là mức tin cậy 95%: nếu thực tế hai phiên bản như nhau, khả năng thấy khác biệt lớn như vậy chỉ do may rủi là dưới 5%. Mức này là quy ước, không phải đảm bảo; kết quả vẫn có thể sai, nên các thay đổi quan trọng cần được theo dõi tiếp sau khi áp dụng.
Test tốt
- Có giả thuyết từ dữ liệu thật
- Một biến chính, một chỉ số chính
- Cỡ mẫu và thời gian định trước
- Chia traffic ngẫu nhiên, cùng nguồn, cùng thời điểm
Test sai
- Đổi cả headline, màu, ảnh, giá cùng lúc
- Chạy A tuần này, B tuần sau
- Dừng sau 2 ngày vì B đang thắng
- Chọn chỉ số sau khi thấy kết quả
Bài tập thực hành
Lập kế hoạch A/B test cho trang của bạn: giả thuyết theo khung, biến thay đổi, chỉ số chính, cỡ mẫu ước tính, thời gian chạy và tiêu chí dừng.
Gợi ý: Lấy tỷ lệ chuyển đổi hiện tại từ GA4, nhập vào công cụ A/B test trong app để ước tính cỡ mẫu. Nếu cỡ mẫu quá lớn so với traffic, chọn thay đổi táo bạo hơn.
- Giả thuyết có quan sát, thay đổi, chỉ số và lý do
- Chỉ một biến chính được thay đổi
- Cỡ mẫu và thời gian định trước, ít nhất trọn chu kỳ tuần
- Có ghi rõ sẽ không dừng sớm khi xem kết quả giữa chừng
Kiểm tra kiến thức
- Xem trước thiết kế của đối thủ
- Xem kết quả liên tục và dừng ngay khi thấy có vẻ có ý nghĩa
- Chia traffic 50/50
- Ghi lại bài học
Xem đáp án
B. Xem kết quả liên tục và dừng ngay khi thấy có vẻ có ý nghĩa — Dừng sớm dựa trên kết quả đang dao động làm tăng xác suất kết luận sai; nên định trước cỡ mẫu.
- Phiên bản thắng chắc chắn tốt hơn 95%
- Nếu hai bản thực ra như nhau, khả năng thấy khác biệt này do ngẫu nhiên dưới 5%
- Tỷ lệ chuyển đổi đạt 95%
- 95% khách thích bản B
Xem đáp án
B. Nếu hai bản thực ra như nhau, khả năng thấy khác biệt này do ngẫu nhiên dưới 5% — Đây là quy ước phổ biến về mức chấp nhận rủi ro kết luận sai do ngẫu nhiên, không phải đảm bảo tuyệt đối.
- Để test chạy nhanh hơn
- Để biết yếu tố nào tạo ra khác biệt
- Vì công cụ không cho đổi nhiều
- Không quan trọng
Xem đáp án
B. Để biết yếu tố nào tạo ra khác biệt — Đổi nhiều yếu tố cùng lúc khiến bạn không biết thay đổi nào tạo ra kết quả, nên không rút ra bài học được.