Cyprus Data Chat
Vitaly@mivitalii
Аналогичная история, если вы делаете не АБ тест, а ABCDEF тест, тоесть параллельно запустили 6 вариантов дизайна, например.
Тут вы по факту запустили по факту 14 тестов ( 14 возможных пар для сравнения каждый с каждым) и вероятность что хоть одна пара ложно прокрасится - взлетает ближе к 1ке)
💬 ответы (2)
2023-04-04 11:55:08
Vitaly@mivitalii
Короче, это правда долгая тема)
Так что делать с 20ю тестами подряд, последний из которых таки сработал?)
💬 ответы (4)
2023-04-04 07:09:22
Vitaly@mivitalii
Про разницу между z и t вроде бы все просто, на самом деле) Насколько я помню, начиная с нескольких тысяч событий - вообще без разницы, t или z :)
Вот кажется неплохой пример объяснения.
https://www.khanacademy.org/math/statistics-probability/significance-tests-one-sample/more-significance-testing-videos/v/z-statistics-vs-t-statistics
💬 ответы (1)
2023-04-04 11:46:00
Evgeny K@joegone
я говорю конкретно про практику: аб-тесты интерфейсов сайтов, мобилок, геймплэй игр
💬 ответы (4)
2023-04-04 11:43:36
Leandro Cassius@147812713
После вчерашнего обсуждения, я стал читать статьи которые отправили тут, и ещё и вот эту статью прочитал. В итоге мне показалось проще использовать бутстреп чем пытаться разбираться в специфике одного или другого теста. Ну чуть дольше надо ждать, но если бутстреп уже знакомый и подходит для большинств случаев, то почему бы и не пользоваться?
💬 ответы (3)
2023-04-04 06:45:19
Vitaly@mivitalii
Ну то есть разбираться, применимы ли они - не нужно?
Разбираться, как влияют выбросы в твоих данных на сходимость и качество теста - тоже?
Ну наверное можно и так.
И про эффект множественных тестов можно тоже не догадываться. С 20й подряд попытки улучшить интерфейс приложения - можно радостно насчитать в калькуляторе стат значимую разницу. И катить в прод!)
💬 ответы (5)
2023-04-04 06:38:28
Vitaly@mivitalii
Тип распределения, наверное, не так вашен сначала. Но понимание, что у конверсии на выборке N юзеров есть доверительные интервалы, и что между 1.5% и 1.65% может не оказаться значимой разницы - очень важно, ИМХО.
💬 ответы (1)
2023-04-04 06:32:06
Evgeny K@joegone
Я допускаю что ничего не знаю о мире слишком больших или наоборот дефицитных данных, или о мире абтестов непрерывных метрик типа арпу в игрушках или маркетплейсах.
Когда все эти умные слова действительно помогают в делах?
💬 ответы (2)
2023-04-04 06:11:21
Evgeny K@joegone
Ок, тогда давайте продолжим. Действительно было очень интересно присутствовать при битве грандов матстата. А можно теперь пример из жизни когда для аб-теста конверсии действительно важно т-тест или z-test?
Или по другому: в каких случаях действительно важно так глубоко копать в тип теста и распределения?
Я продакт в мобилке и пару лет абтестил конверсии вообще без этого вот всего. Возможно где-то это было не вполне корректно, но задача была искать реальные сдвиги, а не микроулучшения. Поэтому слова типа бутстрэп даже не звучали.
2023-04-04 06:16:25
Fedor TurchenkoVitaly@mivitalii
Ребят, хотел бы извиниться за то, что развел такую дискуссию, тем более что начал с критики чужого резюме. Хотел как лучше, считал этот чат скорее тусовкой, где можно неформально дать совет, если видишь некую очевидную ( субъективно) проблему.. А получилось как-то не совсем то(
Постараюсь в следующий раз такое строго в личку)
💬 ответы (1)
2023-04-03 20:06:13
AnastasiaPhantom Lancer 👾@phantom_lancer_gang
Под "неравномерные" имел ввиду это
И что не так с хи квадратом для проверки на независимость, если переменная качественная, а не количественная никто так и не сказал
здесь должен был быть медиа файл, но наш сервер не резиновый: messageMediaDocument
здесь должен был быть медиа файл, но наш сервер не резиновый: messageMediaDocument
2023-04-03 14:06:03
Khv Evg@447266621
Похоже, нужен отдельный чат для этого дела. Не всем интересны уведомления об этой дискуссии
💬 ответы (2)
2023-04-03 13:59:26
Dmitry V@DVars
Небольшой комментарий вставлю, самое нормальное это пробовать различные тесты на ваших данных (смотреть ошикби 1го , 2го рода и так далее) и на основе этого уже принимать решения о том какой тест использовать. Благо сегодня это всё можно провернуть на своём лаптопе. Не знаю может и не в тему уже
💬 ответы (2)
2023-04-03 13:59:54