Ну я последние 4 года занимался исключительно практическими АБ, в основном сайты.
Выбросы ( например оптовики) очень сильно портят картину теста, легко создают на ровном месте и ошибки 1 рода, и ошибки 2 рода.
Удалять их не обязательно, можно просто выделить в отдельную подвыборку, которую независимо тестировать ( но обычно там гораздо дольше ждать).
2023-04-04 06:42:12
вот, отлично. я всего-лишь прошу привести наглядные примеры. Оптовики - это что значит? опиши сценарий плз
2023-04-04 06:43:02
Ну если у тебя в тесте проверяется рост среднего чека. Есть оптовики, которые покупают в 5 раз чаще и их чек в 25 раз выше, чем у 99% оставшихся посетителей твоего сайта.
Оптовиков всего 50 чел. Всех пользователей - 5000 чел.
Ты сплитуешь пользователей между вариантами теста, по 2500 чел, рандомно.
Но рандом раскидывает 35 оптовиков в вариант А, а 15 оптовиков - в вариант Б. Такое сплошь и рядом, ты же не делаешь стратифицированный сэмплинг, да?)
Все, пропал тест.
2023-04-04 06:45:57
спасибо, хороший пример. (что такое "стратифицированный сэмплинг" - я без понятия 🤫 😂)
2023-04-09 09:10:54