Cyprus Data Chat
Evgeny K@joegone
Я допускаю что ничего не знаю о мире слишком больших или наоборот дефицитных данных, или о мире абтестов непрерывных метрик типа арпу в игрушках или маркетплейсах.
Когда все эти умные слова действительно помогают в делах?
💬 ответы (2)
2023-04-04 06:11:21
Evgeny K@joegone
Ок, тогда давайте продолжим. Действительно было очень интересно присутствовать при битве грандов матстата. А можно теперь пример из жизни когда для аб-теста конверсии действительно важно т-тест или z-test?
Или по другому: в каких случаях действительно важно так глубоко копать в тип теста и распределения?
Я продакт в мобилке и пару лет абтестил конверсии вообще без этого вот всего. Возможно где-то это было не вполне корректно, но задача была искать реальные сдвиги, а не микроулучшения. Поэтому слова типа бутстрэп даже не звучали.
2023-04-04 06:16:25
Fedor Turchenko
Vitaly@mivitalii
Ребят, хотел бы извиниться за то, что развел такую дискуссию, тем более что начал с критики чужого резюме. Хотел как лучше, считал этот чат скорее тусовкой, где можно неформально дать совет, если видишь некую очевидную ( субъективно) проблему.. А получилось как-то не совсем то(
Постараюсь в следующий раз такое строго в личку)
💬 ответы (1)
2023-04-03 20:06:13
AnastasiaPhantom Lancer 👾@phantom_lancer_gang
Под "неравномерные" имел ввиду это
И что не так с хи квадратом для проверки на независимость, если переменная качественная, а не количественная никто так и не сказал
здесь должен был быть медиа файл, но наш сервер не резиновый: messageMediaDocument
здесь должен был быть медиа файл, но наш сервер не резиновый: messageMediaDocument
2023-04-03 14:06:03
Khv Evg@447266621
Похоже, нужен отдельный чат для этого дела. Не всем интересны уведомления об этой дискуссии
💬 ответы (2)
2023-04-03 13:59:26
Dmitry V@DVars
Небольшой комментарий вставлю, самое нормальное это пробовать различные тесты на ваших данных (смотреть ошикби 1го , 2го рода и так далее) и на основе этого уже принимать решения о том какой тест использовать. Благо сегодня это всё можно провернуть на своём лаптопе. Не знаю может и не в тему уже
💬 ответы (2)
2023-04-03 13:59:54
Andrey Smirnov@smirnov_captain
https://bytepawn.com/ab-testing-and-fishers-exact-test.html
Фишеру
💬 ответы (3)
2023-04-03 13:41:08
Vitaly@mivitalii
А я посоветую книжку "Quantifying user experience". Очень полезная, чтобы разобраться, не переходя в совсем уж дикий матан.
Но увы, та же оговорочка про требование нормальности там есть, пропустили авторы :(
💬 ответы (2)
2023-04-03 13:31:33
Sergei Tovmasian@stovm
Короче, статья маст рид. Те, кто смогут локально повторить изыскания в статье, скорее всего научатся всему, что нужно. Как минимум синтетическое моделирование поможет сравнивать мощности критериев на ваших метриках, а как максимум, в голову встанет вся необходимая логика. А критериев само собой масса других - но это уже будет скорее нанизыванием нового на здоровую базу. Так что, дерзайте, кому прямо хочется прокачаться
2023-04-03 13:23:40
Sergei Tovmasian@stovm
А так, кому интересна тема A/B очень рекомендую статейку. Начинать стоит с неё и дальше раскручивать себя по направлениям.
https://vkteam.medium.com/practitioners-guide-to-statistical-tests-ed2d580ef04f
💬 ответы (2)
2023-04-03 13:20:02
Sergei Tovmasian@stovm
Ну вот берем клики на просмотры. Люди с малым кол-вом просмотров будут вносить свою шумность в CTR и «портить». пользователи с большим кол-вом просмотров и кликов (хорошие) будут размазываться шумными малоактивными. В результате мощность t-test а прямого будет на уровне дна
💬 ответы (1)
2023-04-03 13:05:02