Фейл с бекапами или как привезти HDD из Hetzner в Москву

Эта новогодняя fail история про то, как на dedicated сервере в Hetzner сломался жесткий диск, а актуальных бекапов не оказалось.

Все началась ночью, с 1 на 2 января 2019 года, в 2 часа ночи на телефон посыпались алерты по почте и смс, о том что сервера ушли в оффлайн.

Вводные: Dedicated сервер, в работе около 7 лет, uptime ~3 года. На сервере RAID 1 на двух террабайтных дисках и виртуализация PVC с десятком VPS.

И вот, взяв ноут и устроившись поудобнее, начались первые попытки понять что случилось. По SSH ни один сервер не отвечал. Ни основной, ни сателлиты.

Написал письмо в поддержку с просьбой предоставить KVM. Из KVM загрузился в recovery — проверить диски не удалось, в консоли была куча ошибок и было принято решение дождаться утра и подключить к вопросу специалистов.

Далее, в результате анализа, стало понятно, что на сервере отказал 1 из 2 жестких дисков, а второй как оказалось, вывалился из рейда ещё в 2016 году. Он был рабочим, и с этого диска удалось запустить сервер, но актуальность данных была соответствующей.

Таким образом стало понятно, что необходимо получить физический доступ к диску для восстановления данных. Первым делом письмо ушло в Hetzner.

И параллельно создание временного сервера с заглушками для сайтов и смены A-записей в DNS для всех доменов.

Удалось выяснить, что:

Стоимость услуг - 50 евро за то, чтобы достать диск и упаковать + 160 евро за жесткий диск (в каком бы состоянии он не был).

Объясняется это тем, что вышедшие из строя жесткие диски они отдают производителям и получают компенсацию. Вы можете отправить диск обратно в Hetzner и они вернут вам деньги, но при условии, что диск не вскрывался и все заводские метки на месте. Понятное дело, что при восстановлении данных вероятность того, что эти условия будут соблюдены стремится к нулю, а значит диск вы оставите мастеру на запчасти.

Чтобы понять какие есть варианты в Hetzner потребовалось несколько дней переписки. В итоге переписки оплачен invoice на 210 евро, а я начал искать варианты восстановления данных в Германии и отправки в Москву.

Поиск вариантов как и куда отправить. Первым делом на ум приходит DHL.

Но как оказалось в процессе оформления заказа - нельзя отправить посылку физическому лицу в Россию, а по Европе - можно. DHL решено отложить, следующий кандидат UPS.

Через UPS сразу удалось оформить заказ на сайте с доставкой в Москву и сразу оплатив его. Я уже выдохнул, но UPS посылку так и не забрал. Оказалось что курьер UPS через день или два приезжал в Hetzner за посылкой, но её не отдали, потому что мне, надо было дополнительно, предупредить что приедет курьер за моей посылкой. При том, что на тот момент, Hetzner получил деньги, HDD был упакован и ждал отправки. Суммарно общение с UPS затянулось на 2 недели и пришлось отменить заказ и искать новые варианты.

В итоге решено было найдено при помощи коллеги из Риги. Я мог отправить заказ через DHL в Ригу, а из Риги автобусом в Москву.

Этот метод сработал четко, заказ оформлен через сайт DHL, после оформления сразу отправлено письмо в Hetzner с номером заказа. Через 5 дней диск был в Риге и ещё через 2 дня в Москве. Ура!

Стоимость доставки в Москву ~100 евро

В Москве найден мастер по восстановлению данных. Восстановление прошло не совсем гладко, но целостность данных не пострадала. Удалось слить около 500Gb охлаждая пластины азотом.

Стоимость восстановления ~ 25 000 рублей.

А дальше был запуск сайтов на vps-серверах с авто-бекапами в виде снепшотов и восстановление работы всех сайтов.

В итоге потрачено ~ 50 000 рублей на восстановление и 1 месяц сайты были в оффлайне, кроме главной страницы. Спустя год, трафик на всех сайтах восстановился, кроме одного экспериментального инфосайта, на нем 1/5 трафика потерялась.