Skip to main content

Máy tính thử nghiệm A/B

Lập kế hoạch, thực hiện và phân tích thử nghiệm A/B một cách tự tin. Ý nghĩa thống kê, kích thước mẫu và thời gian thử nghiệm — tất cả trong một công cụ miễn phí, chạy trên trình duyệt.

Dữ liệu thử nghiệm

Nhập số lượt truy cập và tỷ lệ chuyển đổi cho mỗi biến thể. Biến thể A là biến thể đối chứng. Bạn có thể thêm tối đa 5 biến thể.

MỘT
Điều khiển
B
B

Cài đặt thử nghiệm

Mỗi tháng sẽ có bao nhiêu lượt khách truy cập vào trang này sau khi bạn công bố người chiến thắng?

Kết quả

Phán quyết
Thêm dữ liệu để xem kết quả
Biến thể đối chứng cần có số liệu về lượt truy cập và tỷ lệ chuyển đổi để so sánh.
Biến thể tốt nhất
Đã quan sát thấy sự nâng lên
Giá trị P (phương pháp thống kê tần suất)
Xác suất người thắng cuộc tốt hơn (phương pháp Bayesian)
Beta(1,1) tiên nghiệm, xấp xỉ chuẩn

Thông số kiểm tra

Hãy lên kế hoạch xem bạn cần bao nhiêu lượt truy cập cho mỗi biến thể trước khi bắt đầu thử nghiệm.

Tỷ lệ chuyển đổi hiện tại của bạn cho biến thể mà bạn muốn vượt qua.
Mức tăng tương đối nhỏ nhất mà bạn muốn phát hiện. Mức tăng 10% trên mức cơ sở 3% có nghĩa là phát hiện tỷ lệ chuyển đổi 3,3%.

Kích thước mẫu cần thiết

Số lượng khách truy cập cần thiết cho mỗi biến thể
53.211
Tổng số khách tham quan cần thiết
106.422
Tỷ lệ chuyển đổi trên mỗi biến thể
1.597
Phát hiện
3,00% → 3,30%
Nâng tuyệt đối để phát hiện
+0,30% (+10,0% tương đối)

Giao thông và kỳ vọng

Dựa trên lưu lượng truy cập hiện tại, hãy ước tính số ngày bạn cần để chạy thử nghiệm.

Tổng số lượt khách truy cập hàng ngày sẽ được phân bổ theo từng biến thể.

Thời gian chạy thử nghiệm là bao lâu

Thời gian ước tính
107 ngày (16 tuần)
Số ngày cần thiết
107 ngày
Cần vài tuần
16 tuần
Số lượt khách truy cập mỗi biến thể
53.211
Tổng số khách truy cập
106.422
Khuyến nghị: Hãy thực hiện thử nghiệm trong các chu kỳ hàng tuần đầy đủ (bội số của 7 ngày) để nắm bắt sự khác biệt giữa ngày trong tuần và cuối tuần. Tránh dừng thử nghiệm sớm hoặc xem kết quả trước khi đạt đến kích thước mẫu đã tính toán.

Câu hỏi thường gặp

Công cụ tính toán thử nghiệm A/B có miễn phí không?

Vâng. Công cụ tính toán này hoàn toàn miễn phí, không cần đăng ký và không giới hạn số lần sử dụng. Bạn có thể thực hiện bao nhiêu phép tính về ý nghĩa thống kê, cỡ mẫu và thời gian tùy thích.

Dữ liệu thử nghiệm của tôi có được bảo mật không?

Đúng vậy. Mọi phép tính đều được thực hiện hoàn toàn trên trình duyệt của bạn. Thông tin về khách truy cập và chuyển đổi mà bạn nhập vào không bao giờ được tải lên hoặc lưu trữ trên máy chủ.

Sự khác biệt giữa kết quả theo phương pháp thống kê tần suất và phương pháp thống kê Bayes là gì?

Giá trị p theo phương pháp thống kê tần suất là xác suất thấy sự khác biệt lớn như vậy nếu các biến thể thực sự giống hệt nhau. Giá trị p theo phương pháp Bayes là xác suất biến thể chiến thắng thực sự tốt hơn, điều này thường dễ dàng hơn để đưa ra quyết định.

Ý nghĩa thống kê ở đây có nghĩa là gì?

Kết quả được coi là có ý nghĩa khi giá trị p nhỏ hơn ngưỡng đã chọn, ví dụ 0,05 ở mức độ tin cậy 95%. Điều này có nghĩa là sự gia tăng quan sát được khó có thể là do ngẫu nhiên, chứ không phải là sự gia tăng đó lớn hoặc mang tính lâu dài.

Kích thước mẫu và thời gian thử nghiệm được tính toán như thế nào?

Cả hai đều sử dụng tỷ lệ chuyển đổi cơ bản, hiệu ứng tối thiểu có thể phát hiện, mức độ tin cậy và sức mạnh thống kê để tìm ra số lượng khách truy cập cần thiết cho mỗi biến thể. Thời lượng chỉ đơn giản là chia mục tiêu đó cho lưu lượng truy cập hàng ngày của bạn.

Tôi nên chạy thử nghiệm A/B trong bao lâu?

Hãy chạy thử nghiệm cho đến khi đạt được kích thước mẫu đã tính toán và bao quát toàn bộ chu kỳ hàng tuần để nắm bắt hành vi vào các ngày trong tuần và cuối tuần. Tránh dừng sớm hoặc xem trước kết quả, vì điều đó sẽ làm tăng tỷ lệ dương tính giả.