влияет, конечно. но главный вопрос в целях. если сайт — основной источник денег и заявок, то придётся чем-то жертвовать. как минимум — урезать максимально всё, что влияет на загрузку, помимо скриптов. например, оптимизровать изображения через https://tinypng.com/. грузить свг, по возможности. отрезать бесполезные видосики и свистелки-перделки в виде сложных анимаций и прочей «красоты»