Короче, это правда долгая тема) Так что делать с 20ю тестами подряд, последний из которых таки сработал?)

Не знаю как ответить, смотря какие тесты.

Тут логика простая. Мы при расчете значимости теста устанавливаем параметр Alpha, он обычно 0.95. его смысл в том, чтобы вероятность ложного прокрашивания теста ( т.е. даже в случае стат значимости по t-тесту) была не больше 1-0.95. Когда подряд делаем кучу тестов и ждем, чтобы сработал хотя бы один из них - вероятность ложного прокрашивания растет как 1-0.95^N, где N - число наших попыток. Т.е. если после 20 безуспешных тестов вдруг сработал 21й - то это скорее всего просто ложное срабатывание.

я могу быть не прав, но мне казалось, что это касается случаев, когда мы тестируем несколько метрик в одном тесте

И это тоже.