📊

Cyprus Data Chat
@cyprusdata  

Daria Chernozub
@Chernozubd

Всем привет Никто из Пафоса в лим на митап не едет?

2023-04-06 13:31:22

Ksenia Levantsevich
@ksenialevancevich

#vacancy #job #вакансия #Marketing #analyst #senior #limassol #cyprus #relocation Всем привет! Мы компания FxPro и ищем Marketing analyst на Кипре или с релокацией на Кипр. You will be responsible for: • Support marketing analytics tools (GA4/Appsflyer/GTM). • Development and automation of analytical reports (DataStudio/MS Power BI). • Write SQL queries for analysis and reporting purposes. • Analytical support PPC team in matters of scaling/changing the quality of traffic. We are looking for: • Experience with cloud databases, preferably BigQuery. • Proficient understanding of marketing analytics tools: GTM (setting up events, tags, goals, etc.), GA4, AppsFlyer • 3+ years of experience in a similar position. • Independent, proactive, and fast learner. • Experience with Power BI. • Excellent command of the English language. Knowledge of Russian is considered an advantage. Если вам интересна позиция, пишите мне @ksenialevancevich или через эту ссылку.

2023-04-06 09:01:58

Lada
@ld47ld

Привет! #cyprusdata_job tldr: Мы в Dataduck (хосты прошлого митапа) ищем в нашу команду сильных Web и Data аналитиков. [Этот пост согласован с администратором]. Мы Dataduck — digital-маркетинговое агентство с экспертизой в продвижении финтех-проектов. Коротко о наших вакансиях: ▪️Мы ищем опытного аналитика в команду маркетинговой аналитики, который будет работать с оценкой маркетинговых метрик, анализировать медиа-показатели контента в диджитале, работать с метриками популярности контента и замерять успешность брендовых рекламных кампаний. ▪️Мы ищем крутого веб-аналитика в команду маркетинговой аналитики, который будет работать с разметкой и трекингом событий, анализировать поведение пользователей на продукте, строить дашборды и следить за корректностью данных. С описаниями вакансий более подробно можно ознакомиться здесь: https://dataduck.team Резюме можно прислать напрямую @electrabionic или откликаться по ссылке.

2023-04-04 15:10:09

Vitaly
@mivitalii

Ну просто при любом распределении по А и Б в T тест заложена 5% вероятность ложного срабатывания. Разницы нет, но тест ее показывают. И если вы используете эти тесты в комбинации "успех, если сработал хотя бы один" - то вероятность ложного "успеха" сильно растет.

2023-04-04 13:20:05

Nikita
@nikitasnz

но ведь по идее, если для каждого а/б тест и контроль рандомно формируются, то и распределение старых тестов должно быть равномерным в тесте и контроле нового а/б

2023-04-04 13:18:06

Vitaly
@mivitalii

Тогда шансы что выграл хоть один чисто по ошибке - дико растут и надо делать поправку в альфе.

2023-04-04 13:17:12

Vitaly
@mivitalii

https://en.m.wikipedia.org/wiki/Bonferroni_correction Может, в википедии не так коряво пишут, как я тут)

2023-04-04 12:54:20

Vitaly
@mivitalii

Если у вас просто параллельно два совершенно независимых теста на одной клиентской базе - там все ОК. Ну разве что тесты просто замедляют друг друга из-за возросшей дисперсии. Но это другое (с)

2023-04-04 12:52:30

Igor Bodrov
@bo_drit

Если я запущу два теста параллельно - A vs C1 и B vs C2, где С1, С2 - собранные по одинаковой процедуре контроли, почему тут мы не говорим, что возникает множественное сравнение?

💬 ответы (1)

2023-04-04 12:49:59

Vitaly
@mivitalii

Т.е. не так важно, параллельно несколько тестов или последовательно пытаетесь найти лучший вариант из 20ти. Чем больше вариантов тестируете, тем выше вероятность "случайного" прокрашивания единичного теста, т.е. подтверждения стат значимости там, где ее нет.

💬 ответы (2)

2023-04-04 11:56:49

Vitaly
@mivitalii

Аналогичная история, если вы делаете не АБ тест, а ABCDEF тест, тоесть параллельно запустили 6 вариантов дизайна, например. Тут вы по факту запустили по факту 14 тестов ( 14 возможных пар для сравнения каждый с каждым) и вероятность что хоть одна пара ложно прокрасится - взлетает ближе к 1ке)

💬 ответы (2)

2023-04-04 11:55:08

Vitaly
@mivitalii

Короче, это правда долгая тема) Так что делать с 20ю тестами подряд, последний из которых таки сработал?)

💬 ответы (4)

2023-04-04 07:09:22

Vitaly
@mivitalii

Про разницу между z и t вроде бы все просто, на самом деле) Насколько я помню, начиная с нескольких тысяч событий - вообще без разницы, t или z :) Вот кажется неплохой пример объяснения. https://www.khanacademy.org/math/statistics-probability/significance-tests-one-sample/more-significance-testing-videos/v/z-statistics-vs-t-statistics

💬 ответы (1)

2023-04-04 11:46:00

Evgeny K
@joegone

ok, иногда надо чистить данные. Следующее по порядку - применимость теста. Можно пожалуйста наглядный пример когда надо не t, а z или что еще бывает?

2023-04-04 06:50:18

Evgeny K
@joegone

я говорю конкретно про практику: аб-тесты интерфейсов сайтов, мобилок, геймплэй игр

💬 ответы (4)

2023-04-04 11:43:36

Evgeny K
@joegone

давай по порядку: удалять выбросы или нет - разве тут есть консенсус? типа сфигали лезть руками в то, что случилось

2023-04-04 06:39:13

Leandro Cassius
@147812713

После вчерашнего обсуждения, я стал читать статьи которые отправили тут, и ещё и вот эту статью прочитал. В итоге мне показалось проще использовать бутстреп чем пытаться разбираться в специфике одного или другого теста. Ну чуть дольше надо ждать, но если бутстреп уже знакомый и подходит для большинств случаев, то почему бы и не пользоваться?

💬 ответы (3)

2023-04-04 06:45:19

Vitaly
@mivitalii

Ну то есть разбираться, применимы ли они - не нужно? Разбираться, как влияют выбросы в твоих данных на сходимость и качество теста - тоже? Ну наверное можно и так. И про эффект множественных тестов можно тоже не догадываться. С 20й подряд попытки улучшить интерфейс приложения - можно радостно насчитать в калькуляторе стат значимую разницу. И катить в прод!)

💬 ответы (5)

2023-04-04 06:38:28

Evgeny K
@joegone

или там манна-уитни - это где обычно применяется? я не из вредности спрашиваю, я хочу узнать реальные кейсы в целях познания

2023-04-04 06:36:34

Vitaly
@mivitalii

Тип распределения, наверное, не так вашен сначала. Но понимание, что у конверсии на выборке N юзеров есть доверительные интервалы, и что между 1.5% и 1.65% может не оказаться значимой разницы - очень важно, ИМХО.

💬 ответы (1)

2023-04-04 06:32:06

следующая страница