Ну вот берем клики на просмотры. Люди с малым кол-вом просмотров будут вносить свою шумность в CTR и «портить». пользователи с большим кол-вом просмотров и кликов (хорошие) будут размазываться шумными малоактивными. В результате мощность t-test а прямого будет на уровне дна

Ну подожжите, вы уже прыгнули на следующий шаг, где ускоряем сходимость теста. Да, там и фильтры по выбросам, и сегментация ( богатые/бедные в случае чеков) и всякие CUPED. Сам t-test вполне для клик рейта подходит, считается ок, никаких требований теста не нарушает. Дисперсия выборочного клик рейта как случайной величины там будет достаточно большая, если мы просто ввалили в тест все данные без разбора. Тут даже спорить не о чем, ИМХО)