📊

Cyprus Data Chat
@cyprusdata  

Fedor Turchenko
@Fedor_Turchenko

Я наоборот только за, чтобы были такие дискуссии) Сразу полетели полезные ссылки, да и в целом было интересно почитать разные мнения. Просто до сегодняшнего дня в чате, кроме анонсов митапов и постов с вакансиями, ничего особо и не было 😅

2023-04-03 20:05:59

Anastasia
@403840178

Кажется, назрела тема для следующего дата митапа)

2023-04-03 18:46:17

Phantom Lancer 👾
@phantom_lancer_gang

Текст и все комментарии думаю стоит переписать да, но код только рефакторить)

2023-04-03 14:07:07

Phantom Lancer 👾
@phantom_lancer_gang

Под "неравномерные" имел ввиду это И что не так с хи квадратом для проверки на независимость, если переменная качественная, а не количественная никто так и не сказал
здесь должен был быть медиа файл, но наш сервер не резиновый: messageMediaDocument

2023-04-03 14:06:03

Khv Evg
@447266621

Похоже, нужен отдельный чат для этого дела. Не всем интересны уведомления об этой дискуссии

💬 ответы (2)

2023-04-03 13:59:26

Dmitry V
@DVars

Небольшой комментарий вставлю, самое нормальное это пробовать различные тесты на ваших данных (смотреть ошикби 1го , 2го рода и так далее) и на основе этого уже принимать решения о том какой тест использовать. Благо сегодня это всё можно провернуть на своём лаптопе. Не знаю может и не в тему уже

💬 ответы (2)

2023-04-03 13:59:54

Vitaly
@mivitalii

Но да, ох уж эта коварная центральная предельная теорема! У ребят в статье VK не указано, какое N использовали для расчета выборочного среднего. Это все его вина!)))

2023-04-03 13:43:23

Andrey Smirnov
@smirnov_captain


💬 ответы (3)

2023-04-03 13:41:08

Vitaly
@mivitalii

А я посоветую книжку "Quantifying user experience". Очень полезная, чтобы разобраться, не переходя в совсем уж дикий матан. Но увы, та же оговорочка про требование нормальности там есть, пропустили авторы :(

💬 ответы (2)

2023-04-03 13:31:33

Sergei Tovmasian
@stovm

Думаю, наша беседа была полезной кому-нибудь)

2023-04-03 13:29:49

Vitaly
@mivitalii

Т.е. для метрики "доля кликнувших юзеров" - норм. Для метрики "число кликов/число просмотров" - уже нет.

2023-04-03 13:33:40

Vitaly
@mivitalii

Клики одного пользователя - не независимые события. Это как раз нарушает требования t-теста.

2023-04-03 13:26:49

Vitaly
@mivitalii

Но вот как раз про CTR там хорошо прописан момент, редко уопминающийся в учебниках, да.

2023-04-03 13:25:48

Sergei Tovmasian
@stovm

Короче, статья маст рид. Те, кто смогут локально повторить изыскания в статье, скорее всего научатся всему, что нужно. Как минимум синтетическое моделирование поможет сравнивать мощности критериев на ваших метриках, а как максимум, в голову встанет вся необходимая логика. А критериев само собой масса других - но это уже будет скорее нанизыванием нового на здоровую базу. Так что, дерзайте, кому прямо хочется прокачаться

2023-04-03 13:23:40

Vitaly
@mivitalii

При этом проблема "длинного хвоста" распределения - бьет и по бустрепу, и по t-тесту. Возможно, бутстреп чуть выиграет, но проблему он не решит.

2023-04-03 13:14:02

Sergei Tovmasian
@stovm

А так, кому интересна тема A/B очень рекомендую статейку. Начинать стоит с неё и дальше раскручивать себя по направлениям.

https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f

💬 ответы (2)

2023-04-03 13:20:02

Sergei Tovmasian
@stovm

Ну вот берем клики на просмотры. Люди с малым кол-вом просмотров будут вносить свою шумность в CTR и «портить». пользователи с большим кол-вом просмотров и кликов (хорошие) будут размазываться шумными малоактивными. В результате мощность t-test а прямого будет на уровне дна

💬 ответы (1)

2023-04-03 13:05:02

Filipp Chistiakov
@185566253

Ребят, а какие подходы к тестированию современные вы применяете? Мы недавно начали пробовать расклады таро

💬 ответы (1)

2023-04-03 13:07:53

Sergei Tovmasian
@stovm

Кто-нибудь за t-test на конверсиях ответит?))))

💬 ответы (8)

2023-04-03 12:56:02

Sergey Kholodnitsky
@Holodnize

А при достаточно большом количестве наблюдений и конечной дисперсии оно почти всегда в нормальное приходит

2023-04-03 12:55:45

следующая страница