📊

Cyprus Data Chat
@cyprusdata  

Phantom Lancer 👾
@phantom_lancer_gang

Текст и все комментарии думаю стоит переписать да, но код только рефакторить)

2023-04-03 14:07:07

Phantom Lancer 👾
@phantom_lancer_gang

Под "неравномерные" имел ввиду это И что не так с хи квадратом для проверки на независимость, если переменная качественная, а не количественная никто так и не сказал
здесь должен был быть медиа файл, но наш сервер не резиновый: messageMediaDocument

2023-04-03 14:06:03

Khv Evg
@447266621

Похоже, нужен отдельный чат для этого дела. Не всем интересны уведомления об этой дискуссии

💬 ответы (2)

2023-04-03 13:59:26

Dmitry V
@DVars

Небольшой комментарий вставлю, самое нормальное это пробовать различные тесты на ваших данных (смотреть ошикби 1го , 2го рода и так далее) и на основе этого уже принимать решения о том какой тест использовать. Благо сегодня это всё можно провернуть на своём лаптопе. Не знаю может и не в тему уже

💬 ответы (2)

2023-04-03 13:59:54

Vitaly
@mivitalii

Но да, ох уж эта коварная центральная предельная теорема! У ребят в статье VK не указано, какое N использовали для расчета выборочного среднего. Это все его вина!)))

2023-04-03 13:43:23

Andrey Smirnov
@smirnov_captain


💬 ответы (3)

2023-04-03 13:41:08

Vitaly
@mivitalii

А я посоветую книжку "Quantifying user experience". Очень полезная, чтобы разобраться, не переходя в совсем уж дикий матан. Но увы, та же оговорочка про требование нормальности там есть, пропустили авторы :(

💬 ответы (2)

2023-04-03 13:31:33

Sergei Tovmasian
@stovm

Думаю, наша беседа была полезной кому-нибудь)

2023-04-03 13:29:49

Vitaly
@mivitalii

Т.е. для метрики "доля кликнувших юзеров" - норм. Для метрики "число кликов/число просмотров" - уже нет.

2023-04-03 13:33:40

Vitaly
@mivitalii

Клики одного пользователя - не независимые события. Это как раз нарушает требования t-теста.

2023-04-03 13:26:49

Vitaly
@mivitalii

Но вот как раз про CTR там хорошо прописан момент, редко уопминающийся в учебниках, да.

2023-04-03 13:25:48

Sergei Tovmasian
@stovm

Короче, статья маст рид. Те, кто смогут локально повторить изыскания в статье, скорее всего научатся всему, что нужно. Как минимум синтетическое моделирование поможет сравнивать мощности критериев на ваших метриках, а как максимум, в голову встанет вся необходимая логика. А критериев само собой масса других - но это уже будет скорее нанизыванием нового на здоровую базу. Так что, дерзайте, кому прямо хочется прокачаться

2023-04-03 13:23:40

Vitaly
@mivitalii

При этом проблема "длинного хвоста" распределения - бьет и по бустрепу, и по t-тесту. Возможно, бутстреп чуть выиграет, но проблему он не решит.

2023-04-03 13:14:02

Sergei Tovmasian
@stovm

А так, кому интересна тема A/B очень рекомендую статейку. Начинать стоит с неё и дальше раскручивать себя по направлениям.

https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f

💬 ответы (2)

2023-04-03 13:20:02

Sergei Tovmasian
@stovm

Ну вот берем клики на просмотры. Люди с малым кол-вом просмотров будут вносить свою шумность в CTR и «портить». пользователи с большим кол-вом просмотров и кликов (хорошие) будут размазываться шумными малоактивными. В результате мощность t-test а прямого будет на уровне дна

💬 ответы (1)

2023-04-03 13:05:02

Filipp Chistiakov
@185566253

Ребят, а какие подходы к тестированию современные вы применяете? Мы недавно начали пробовать расклады таро

💬 ответы (1)

2023-04-03 13:07:53

Sergei Tovmasian
@stovm

Кто-нибудь за t-test на конверсиях ответит?))))

💬 ответы (8)

2023-04-03 12:56:02

Sergey Kholodnitsky
@Holodnize

А при достаточно большом количестве наблюдений и конечной дисперсии оно почти всегда в нормальное приходит

2023-04-03 12:55:45

Mikhail Iakovlev
@Mikhail_Iak

Нормальное распределение выборочных средних. А не выборок.

2023-04-03 12:54:54

Andrey Smirnov
@smirnov_captain

вот цитата из википедии: The assumptions underlying a t-test in the simplest form above are that: X follows a normal distribution with mean μ and variance σ2/n s2(n − 1)/σ2 follows a χ2 distribution with n − 1 degrees of freedom. This assumption is met when the observations used for estimating s2 come from a normal distribution (and i.i.d for each group). Z and s are independent. после бутылки коньяка и не такое опровергается, тут я спорить ну буду

💬 ответы (2)

2023-04-03 12:53:44

следующая страница