1. NÊN
Biết là nên test đến khi nào thì dừng: dừng quá sớm thì bạn sẽ mất những thông số có giá trị để đưa ra quyết định đúng. Chạy test quá lâu thì cũng có cái hại vì nếu phiên bản thử nghiệm có performance quá tệ thì cũng có thể ảnh hưởng đến conversion rate và tổng số sales của bạn.
Giữ sự đồng nhất: khi tiến hành A/B testing cần phải có cách nào đó để ghi nhớ người dùng nào đã chọn phiên bản test nào để lúc nào cũng hiển thị đúng phiên bản đó nhằm tránh ảnh hưởng đến trải nghiệm của người dùng. Nếu có một nút bấm được thay đổi để test và nút bấm này xuất hiện ở nhiều chỗ trên website thì khách hàng cũng phải thấy nút bấm này như nhau ở mọi chỗ trên website. Cookies là phương thức thường dùng nhất.
Test nhiều lần: sự thật là không phải đợt A/B testing nào cũng sẽ mang lại kết quả như bạn mong muốn hoặc giúp bạn tìm ra được giải pháp cho vấn đề. Do đó hãy cứ tiếp tục test thêm nhiều lần nữa, theo những định hướng khác nhau. Nếu mỗi lần test cải thiện conversion rate của bạn một chút thì nhiều lần test như vậy sẽ cộng dồn lại tạo ra một ảnh hưởng lớn hơn.
Lưu ý sự khác biệt giữa traffic từ mobile và desktop: khách hàng truy cập website từ mobile và từ desktop có thể có biểu hiện hoàn toàn khác nhau trên website của bạn tùy theo design, UI/UX và website có mobile-friendly hay không. Do đó nên lưu ý việc phân chia traffic khi A/B testing trang web, tốt nhất là nên test cho mobile và desktop traffic riêng.
2. KHÔNG NÊN
Testing mà không đảm bảo điều kiện giống nhau: luôn nhớ rằng việc testing cả 2 phiên bản A và B phải được tiến hành song song. Bạn không thể chạy phiên bản A trong tuần thứ 1 và phiên bản B trong tuần thứ 2 nghĩ rằng điều đó sẽ cho kết quả đúng.
Kết luận quá sớm: hãy nhớ rằng kết quả chỉ có giá trị khi chúng có một giá trị số tương đối và một thời gian tương ứng để xác định. Bạn không thể quyết định rằng phiên bản A hơn B hoặc ngược lại khi chúng chỉ khác nhau một vài conversion hoặc thời gian test quá ngắn.
Khiến các khách hàng cũ ngạc nhiên: tốt nhất khi tiến hành A/B testing, chỉ nên tập trung vào các đối tượng khách hàng mới vì nếu các khách hàng cũ vào và thấy mọi thứ khác so với lúc trước thì có thể họ sẽ ngạc nhiên và điều này ảnh hưởng đến conversion rate, nhất là khi bạn chưa chắc phiên bản thử nghiệm sẽ có được chọn hay không.
Để linh cảm chi phối kết quả: đôi khi kết quả test lại có thể hoàn toàn sẽ trái ngược với những gì bạn có thể nghĩ tới. Có thể một cái CTA đỏ trên nền xanh theo bạn là chói mắt và khó chịu nhưng kết quả lại có thể chứng minh rằng nó có hiệu quả hơn. Cái bạn cần là conversion rate, đừng để những linh cảm của bạn chống lại các kết quả test.
Hi vọng bài viết này sẽ giải đáp những thắc mắc của những ai đang tìm hiểu về quá trình A/B testing để áp dụng vào công việc của mình. Mọi thắc mắc và ý kiến, hãy để lại dưới comment hoặc liên hệ để được giải đáp.