Я допускаю что ничего не знаю о мире слишком больших или наоборот дефицитных данных, или о мире абтестов непрерывных метрик типа арпу в игрушках или маркетплейсах. Когда все эти умные слова действительно помогают в делах?

Ну вот представь, что у тебя конверсия в варианте А равна 1.5% , а в варианте Б - 1.65%. Надо брать вариант Б или еще подождать, пока крутится тест?

ждать или нет - надо планировать объем выборки заранее, опят же калькуляторы стат значимости это делают, тысячи их