Cyprus Data Chat
Andrey Smirnov@smirnov_captain
https://bytepawn.com/ab-testing-and-fishers-exact-test.html
Фишеру
💬 ответы (3)
2023-04-03 13:41:08
Vitaly@mivitalii
А я посоветую книжку "Quantifying user experience". Очень полезная, чтобы разобраться, не переходя в совсем уж дикий матан.
Но увы, та же оговорочка про требование нормальности там есть, пропустили авторы :(
💬 ответы (2)
2023-04-03 13:31:33
Sergei Tovmasian@stovm
Короче, статья маст рид. Те, кто смогут локально повторить изыскания в статье, скорее всего научатся всему, что нужно. Как минимум синтетическое моделирование поможет сравнивать мощности критериев на ваших метриках, а как максимум, в голову встанет вся необходимая логика. А критериев само собой масса других - но это уже будет скорее нанизыванием нового на здоровую базу. Так что, дерзайте, кому прямо хочется прокачаться
2023-04-03 13:23:40
Sergei Tovmasian@stovm
А так, кому интересна тема A/B очень рекомендую статейку. Начинать стоит с неё и дальше раскручивать себя по направлениям.
https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f
💬 ответы (2)
2023-04-03 13:20:02
Sergei Tovmasian@stovm
Ну вот берем клики на просмотры. Люди с малым кол-вом просмотров будут вносить свою шумность в CTR и «портить». пользователи с большим кол-вом просмотров и кликов (хорошие) будут размазываться шумными малоактивными. В результате мощность t-test а прямого будет на уровне дна
💬 ответы (1)
2023-04-03 13:05:02
Filipp Chistiakov@185566253
Ребят, а какие подходы к тестированию современные вы применяете?
Мы недавно начали пробовать расклады таро
💬 ответы (1)
2023-04-03 13:07:53
Sergei Tovmasian@stovm
Кто-нибудь за t-test на конверсиях ответит?))))
💬 ответы (8)
2023-04-03 12:56:02
Sergey Kholodnitsky
Mikhail Iakovlev
Andrey Smirnov@smirnov_captain
вот цитата из википедии:
The assumptions underlying a t-test in the simplest form above are that:
X follows a normal distribution with mean μ and variance σ2/n
s2(n − 1)/σ2 follows a χ2 distribution with n − 1 degrees of freedom. This assumption is met when the observations used for estimating s2 come from a normal distribution (and i.i.d for each group).
Z and s are independent.
после бутылки коньяка и не такое опровергается, тут я спорить ну буду
💬 ответы (2)
2023-04-03 12:53:44
Andrey Smirnov@smirnov_captain
откройте википедию, и там всех обманывают?
💬 ответы (5)
2023-04-03 12:50:25