Да, они могут улучшить метрики. Иногда. За год из десятков экспериментов срабатывают три-четыре, и то эффект едва заметен. А бывает, что один удачный тест случайно сломал другой, и ты сидишь, как Шерлок, выясняя, кто вообще кого "переоптимизировал". В долгосрочной перспективе продукт от этого не растёт, а ты превращаешься в того самого менеджера, который улучшает кликрейт кнопки “Выйти” до 120%.
Конечно, гипотезы не панацея, но они помогают улучшать продукт. Просто нужно уметь их правильно формулировать и тестировать