Аналогичная история, если вы делаете не АБ тест, а ABCDEF тест, тоесть параллельно запустили 6 вариантов дизайна, например.
Тут вы по факту запустили по факту 14 тестов ( 14 возможных пар для сравнения каждый с каждым) и вероятность что хоть одна пара ложно прокрасится - взлетает ближе к 1ке)
2023-04-04 11:55:08
Вот ко всей модели множественных сравнений у меня всегда был такой вопрос - какие события попадают в этот пул, а какие нет.
Если я сделаю 6 применений критерия для сравнения каждой выборки с контролем, то у меня всего 6 возможнных событий. Если я НЕ СОБИРАЮСЬ сравнивать варианты друг с другом, почему они влияют на итоговую ошибку?
Если я сделаю 6 применений критерия для сравнения каждой выборки с контролем, то у меня всего 6 возможнных событий. Если я НЕ СОБИРАЮСЬ сравнивать варианты друг с другом, почему они влияют на итоговую ошибку?
2023-04-04 12:47:51
Тогда конечно не нужно)
Сколько сравнений вы по факту смотрите во множественном тесте - такое и N
Условно, у вас старая версия сайта пошла в А вариант, а три новых варианта - в B, C,D, и вы просто хотите посмотреть, выиграет ли кто-то у старой версии.
Тогда у вас 3 сравнения, N=3 и соответствующая поправка к Alpha
2023-04-04 12:50:22