24 февраля началось для всех с одной новости. Для облачного оператора GigaCloud это значило еще одно — нужно обеспечить работу клиентских сервисов и помочь зарезервировать данные тем, кто этого еще не сделал.
GigaCloud — это основная или резервная площадка для тысяч сервисов. Среди них: Дiя, ProZorro, крупные банки, производства, медицинские сервисы и многое другое. Для ребят из техподдержки термины «критическая инфраструктура» и «критический сервис» — обыденность. А для пользователей — неработающие банковские карты, аптеки и магазины, если критический сервис «упадет».
Dev.ua поговорил со специалистами техподдержки GigaCloud Андреем и Александром, а также с руководителем отдела Сергеем о том, как они работали во время первых обстрелов и сирен, и что изменилось в их работе за последние три месяца.
«Если саппорт остановится — будет плохо всем»
«В первый день был полный хаос, — вспоминает Сергей, руководитель технической поддержки GigaCloud, о дне вторжения российских войск в Украину. — С одной стороны была небольшая паника, непонимание ситуации и к чему все это приведет. С другой — несколько сотен обращений в поддержку. GigaCloud — компания, которая предоставляет критически важные услуги, и нам нужно было продолжать работать. Если саппорт остановится — будет плохо всем».
«Я трезво оценил ситуацию и решил работать в своей квартире в Вишневом, не спускаясь в бомбоубежище, — продолжает Сергей. — Подумал, что лучше падать с четвертого этажа, чем потом выбираться из-под завалов. Первым делом связался со своей командой».
Как работает техническая поддержка GigaCloud
Support-команда облачного оператора состоит из 13 человек: специалисты техподдержки, профильные инженеры, специалисты по системам виртуализации и аппаратному обеспечению. Они обрабатывают заявки клиентов, которые приходят в тикетную систему.
Туда сходятся все запросы на выполнение работ — выделить технические ресурсы, выдать лицензии, помочь с резервированием и многое другое. Все это сортируется и распределяется по сотрудникам. По словам Сергея, за три дня, с 24 по 26 февраля, GigaCloud получил 300 заявок. Столько обычно поступает в саппорт за две недели.
Все основатели, руководство и большинство сотрудников облачного оператора встретили начало войны в Киеве. Часть людей уже была во Львове, потому что компания строила там новый кластер. Часть сотрудников нельзя было эвакуировать из Киева, потому что они обеспечивают работу критической инфраструктуры в дата-центрах. Руководство облачного оператора предоставило им все необходимое, а остальным предложило помощь с эвакуацией.
«А ты не в курсе новостей? Началась война»
Одним из первых Сергею написал Tech Lead команды технической поддержки Александр.
«Утром я спросил у Сергея в телеграмме, выезжать ли в офис, — говорит Александр, — а в ответ увидел: “А ты не в курсе новостей? Началась война”. Я тогда настолько несерьезно к этому относился, что даже эта фраза меня не шокировала. Подумал — очередная паника. Понимание начало приходить, когда услышал звуки реактивных систем залпового огня и сирену. Я выглянул в окно и увидел, что люди выбегают из домов с вещами».
Александр с семьей живет на Оболони. После первых взрывов он отвел жену с детьми в метро.
«Мы впопыхах собрали все, что могли взять с собой, и побежали в метро. В это же время я обратил внимание, что к нам массово посыпались запросы клиентов. В метро было невозможно попасть — тысячи людей. Я оставил там семью, а сам вернулся в квартиру отвечать на запросы клиентов. Некоторые решил сразу, остальные перенаправил на наших сертифицированных специалистов по системам виртуализации».
В основном клиенты запрашивали перенос инфраструктуры VMware с облака в Киеве на облако во Львове или Польше. По окончанию миграции клиенты перенаправляли своих пользователей и записи на новые IP-адреса. Звучит несложно, но когда одновременно таких клиентов несколько десятков, а виртуальных машин сотни, это все нужно согласовать, договориться и проконтролировать. И все это на фоне всеобщей паники первого дня войны.
По словам Александра, самое страшное, что он пережил в тот день, — новость о блокировании всех входов и выходов в метро. Тогда в соцсетях появилась информация о боях на дамбе Киевводоканала, которая находится возле Вышгорода.
«Если дамбу разрушат, то Оболонь будет полностью затоплена. Для меня это была бы настоящая катастрофа. Ведь получается, что я свою семью оставил в ловушке, а сам продолжаю работать. И когда через несколько часов открыли первую дверь в метро, я сразу же забрал оттуда жену с детьми».
Спустя неделю Александру удалось вывезти своих близких за рубеж, и сейчас они в безопасности. Сам Александр остался в Киеве. Чтобы продолжать работу из дома, ему приходилось бегать между двумя квартирами.
«В пятом микрорайоне Оболони было настолько громко и днем, и ночью, что иногда нервы не выдерживали, — вспоминает Александр. — Когда что-то начинало гудеть и взрываться, я уходил в другую квартиру. Рабочий ноутбук был всегда со мной, в рюкзаке. Во второй квартире я мог работать только с мобильным интернетом. Приходил туда, закрывал заявки и возвращался назад. Именно в той квартире я стал свидетелем прямого попадания в соседний жилой 9-этажный дом на Богатырской, 20».
«Жил две недели без связи, света и всех благ цивилизации»
Если до войны можно было определить в какой день больше всего обращений, то первые три недели войны каждый день был пиковым, неважно — будний или выходной. Это был самый тяжелый период с начала войны. Часто людей приходилось подменять, потому что сотрудники саппорта не могли работать во время эвакуации или активных боевых действий. Как, например, ведущий инженер технической поддержки Андрей.
«В первый день войны я не уехал из Киева и обрабатывал заявки клиентов до поздней ночи, — рассказывает Андрей. — На следующий день прочитал в новостях, что на Оболонь прорываются ДРГ. Поэтому я принял, пожалуй, одно из худших решений в своей жизни — уехал из Киева в сторону Макарова и попал в котел боевых действий».
Андрей мог работать только первые два дня. Потом над Бузовой сбили российский самолет, он упал на линии электропередач, и пропало электричество. Интернет был немного дольше, но потом перебили и его.
«Жил две недели без связи, света и всех благ цивилизации, — говорит Андрей. — В средине марта мы смогли вернуться в Киев. Люди из теробороны подсказали безопасную дорогу через села».
«Перед войной мы делали массовые обзвоны, пытались помочь клиентам»
В первые дни полномасштабного вторжения россии клиентских запросов могло быть и больше, если бы в GigaCloud не готовились к возможной войне. Хотя никто не верил, что она действительно начнется. В начале года облачный оператор начал реализацию своего Business Continuity Plan (план устойчивости).
В конце января GigaCloud запустил техническую площадку во Львове и предложил клиентам бесплатно перенести туда свои сервисы и разместить бэкапы.
«Примерно за месяц до начала войны нашей команде поставили задачу оповестить клиентов о том, что можно перенести инфраструктуру и резервные копии критически важных данных на площадки во Львове и Польше, — вспоминает Александр. — Мы делали массовые обзвоны, пытались помочь клиентам. Разговаривая с ними, я слышал много скептических комментариев».
Подготовка позволила команде технической поддержки сделать огромную часть работы еще до начала войны. А начиная с 24 февраля, клиенты, которые до этого были в раздумье, стали массово обращаться с просьбой помочь перенести критически важные данные на другие серверы. Тогда и начались основные сложности в обработке заявок.
Инженеры GigaCloud срочно расширяют техническую площадку во Львове для резервирования данных клиентов
Собрали, упаковали, перевезли — о миграции клиентов
GigaCloud помогал клиентам частных облаков с эвакуацией оборудования. Частное облако — это виртуальный дата-центр, который предоставляется клиенту в эксклюзивное пользование, поэтому его нельзя просто «перенести» по каналам связи. Часть клиентов попросили эвакуировать оборудование во Львов, и облачный оператор выполнил эти работы бесплатно. В условиях активных военных действий это была целая спецоперация: часть кластера клиента наши сотрудники самостоятельно собрали, упаковали, перевезли в безопасное место, установили и настроили. Так в GigaCloud появилась отдельная услуга — ремоут-хелп.
«У GigaCloud несколько уровней саппорта, — говорит Александр. — Если до войны мы разделялись и работали только над своими задачами, то в период активный боевых действий страховали друг друга. Инженеры помогали технической поддержке, пока кто-то переезжал и обустраивался на новом месте. А мы помогали инженерам переносить оборудование».
Клиенты продолжают активно мигрировать на площадки GigaCloud во Львове и Польше, но пик уже схлынул. «Сейчас ситуация более или менее стабилизировалась, на выходных заявок меньше, видно, что люди пытаются отдыхать, — говорит руководитель техподдержки Сергей. — Но это не значит, что работы стало меньше. У нас не было ни одного сокращения. Мы не можем этого сделать, потому что увеличится время на обработку клиентских заявок. Это сейчас не то что нецелесообразно, а недопустимо. Бизнесы только начали запускаться, и я понимаю, что нужно и дальше поддерживать наших клиентов».
20% клиентов не делают бэкапы
Основные задачи саппорта остаются неизменными — перенос клиентов в облако и резервирование. Бизнес продолжает обеспечивать безопасность своей инфраструктуры. Но так делают не все. «20% клиентов, которые заказали лицензии Veeam, не пользуются ими. То есть, лицензии есть, а бэкапы не делают. Это может стать фатальной ошибкой для бизнеса в критической ситуации», — сказал Сергей.
«Мы все на своем фронте»
«Мне часто попадаются статьи с заголовками: “Что делать, если чувствуете себя виноватым, что не защищаете страну в рядах ВСУ, или не пошли в ТрО”, — говорит Сергей. — Считаю, что сейчас все работают на страну: ВСУ защищают ее от врагов, а остальные поддерживают экономику, платят налоги, делают все, чтобы она жила. Ведь если не будет страны, то и защищать будет нечего. Мы все на своем месте и на своем фронте».
(с) https://dev.ua/news/gigacloud-support
