Кластер с нуля: как организация из фармотрасли перевела всю цифровую жизнь на собственную инфраструктуру

В 2022 году у организации не было ничего: ни своих серверов, ни корпоративной почты, ни файлового хранилища. Документы лежали на ноутбуках сотрудников и в публичных облаках, почта работала на бесплатных сервисах. Мы построили инфраструктуру с чистого листа. Сегодня это отказоустойчивый кластер из семи узлов в дата-центре, который обслуживает три связанные компании, четыре офиса и удалённых сотрудников — и на котором работают в том числе системы, которые мы для этого же заказчика написали.

Отрасль: фармаконадзор и клинические исследования Задача: построить и вести IT-инфраструктуру организации с нуля Старт: 2022 год Сегодня: кластер из семи узлов, четыре офиса, сотни заявок в месяц Роль Nabla Lab: проектирование, построение, сопровождение и развитие Где живёт: в коммерческом дата-центре, холодная копия — на отдельной площадке

Начинали с пустого места

Организация работает с данными о безопасности лекарств. Это сведения, которые нельзя терять и нельзя разбрасывать по чужим сервисам: часть из них — персональные данные, часть проверяется аудиторами, часть служит основанием для решений о препаратах.

При этом к моменту нашего прихода у компании не было собственной инфраструктуры вообще. Так живут почти все организации, выросшие из небольшой команды: пока людей десять, ноутбуков и общего чата хватает. Проблема проявляется позже — когда сотрудников становится сорок, офисов четыре, а к работе начинают приходить с проверкой.

Мы начали с проектирования и собрали кластер с нуля.

Почему три вычислительных узла, а не два

Первое решение, которое определяет всё остальное, — сколько узлов будет в кластере.

Два сервера кажутся достаточными: если один откажет, работает второй. На практике два узла создают проблему хуже той, которую решают. При обрыве связи между ними каждый считает, что выжил именно он, и оба начинают работать как главные. Данные расходятся, и потом их приходится сводить руками — если это вообще возможно.

Поэтому вычислительных узлов три. Три — это минимум, при котором кластер умеет решать, какая часть осталась главной: большинство голосов у той стороны, где два узла из трёх. Отказ одного сервера кластер переживает без остановки сервисов и без риска раздвоения.

Виртуальные машины распределены между узлами с учётом их мощности и пропускной способности, и это распределение мы периодически пересматриваем: нагрузка меняется вместе с задачами компании.

Отдельно от вычислительных узлов стоит сервер терминального доступа — на нём работают сотрудники, которым нужен полноценный рабочий стол внутри защищённого контура, а не приложение в браузере.

Хранение: два разных массива под разные задачи

Данные лежат не на вычислительных узлах, а на отдельных системах хранения. Их две, и это сознательное разделение.

Массив на быстрых накопителях обслуживает то, где важна скорость отклика: базы данных, рабочие системы, всё, с чем человек взаимодействует и ждёт ответа. Массив на дисках большого объёма — то, где важен объём: архивы, файловое хранилище, накопленные документы.

Разделение экономит деньги. Держать всё на быстрых дисках дорого, держать всё на медленных — мучительно для пользователей. Разнеся нагрузку, можно платить за скорость только там, где она действительно нужна.

Резервное копирование в три слоя

Резервная копия, которая лежит рядом с оригиналом, защищает только от одного сценария: от ошибки человека. От пожара, затопления или отказа площадки она не защищает ни от чего.

Поэтому копирование устроено слоями.

Горячий слой. Отдельный узел резервного копирования в том же дата-центре. Копии делаются постоянно, восстановление из них быстрое — это то, что спасает при удалении файла, неудачном обновлении или отказе виртуальной машины.

Отдельное хранилище. Копии не делят диски с рабочими данными, поэтому отказ основного массива не уносит их с собой.

Холодный слой на другой площадке. Отдельное хранилище стоит физически вне дата-центра, в офисе. Даже полная потеря площадки не означает потерю данных.

Расписание копирования и состав копий мы регулярно пересматриваем, а старые копии чистим — иначе архив разрастается и в нужный момент места не оказывается. Успешность резервного копирования — один из показателей, по которым нашу работу оценивают ежемесячно.

Что работает на кластере

Инфраструктура почти полностью виртуализирована, и на ней живёт вся цифровая жизнь организации.

Почта. Собственные почтовые серверы — по одному на каждую из трёх компаний. Перед ними стоит почтовый шлюз, который фильтрует спам и вредоносные вложения и держит карантин. Есть отдельный сервер архивации: старые письма автоматически переезжают на него, освобождая основной сервер, но для сотрудника ничего не меняется — почтовый ящик выглядит как прежде.

Файловое хранилище. Корпоративный диск с разграничением прав, историей версий и веб-редактором документов прямо в браузере. Отдельные хранилища для разных компаний группы.

Единая учётная запись. Служба каталогов, через которую сотрудник входит во все сервисы одним логином. Заведение и блокировка сотрудника — одна операция, а не обход десяти систем.

Корпоративный мессенджер. Развёрнутый на своих мощностях сервер обмена сообщениями с входом по корпоративной учётной записи и встроенной видеоконференцсвязью. Рабочая переписка перестаёт жить в личных мессенджерах сотрудников.

Прикладные системы организации, включая профильные отраслевые базы данных и учётные системы.

Периметр. Обратный прокси с фильтрацией запросов перед всеми публичными сервисами, VPN для удалённых сотрудников, разделение сети на сегменты.

Уход с чужих сервисов

Отдельная линия работы, которая тянется через все годы, — перенос того, что раньше было снаружи, внутрь.

Почта переехала с публичного почтового сервиса на свои серверы. Сайты — от стороннего хостинг-провайдера на мощности организации. Файлы — из облачных дисков в собственное хранилище. Переписка — из мессенджеров общего пользования в свой сервер.

У этого есть очевидная причина: организация работает с медицинскими и персональными данными, и на вопрос проверяющего «где обрабатывается эта информация» ответ «в облаке одной большой компании, условия использования которой мы не читали» не подходит.

Есть и менее очевидная. Собственная инфраструктура не выставляет счёт за каждого нового сотрудника и не меняет условия в одностороннем порядке.

Каждый такой переезд мы делали с сохранением пользовательского опыта: у людей всё продолжало выглядеть так же, как выглядело раньше. Миграция, которую заметили сотрудники, — плохая миграция.

Четыре офиса и люди, которые не в офисе

Инфраструктура не заканчивается дата-центром. У организации четыре офиса в трёх городах, каждый со своим оборудованием и каналом связи, плюс сотрудники, работающие удалённо.

Мы ведём это целиком: сети и оборудование в офисах, ноутбуки и рабочие места, подготовку и выдачу техники новым сотрудникам, отправку ноутбуков удалённым, ремонт и модернизацию, учёт техники и ежегодную инвентаризацию, системы видеонаблюдения в офисах. В казанском офисе наши специалисты бывают дважды в неделю.

Что значит вести это каждый день

Построить кластер — работа на несколько недель. Ценность в том, что происходит следующие четыре года.

Заявки от сотрудников идут через тикет-систему и разбираются по категориям: доступ к почте и файловому хранилищу, расширение прав, настройка программ, удалённый рабочий стол, подключение нового сотрудника, техника. В активные месяцы это около двух сотен обращений.

Целевые сроки реагирования и решения по каждой категории закреплены в договоре. Отдельно закреплены показатели качества, по которым нашу работу проверяют ежемесячно: доля заявок, обработанных в срок, доступность инфраструктуры, успешность резервного копирования, доля исправной техники, точность учёта.

Ежемесячно мы сдаём отчёт о проделанной работе. Это не формальность: он показывает и рутину, и крупные работы, и статистику заявок, и его подписывает заказчик.

Аудиты и инспекции

В фармацевтической отрасли проверяют не только документы, но и то, как устроена работа с данными.

Мы регулярно участвуем в аудитах и инспекциях со стороны заказчиков и проверяющих организаций — отвечаем на вопросы об инфраструктуре: где хранятся данные, кто имеет доступ, как организовано резервное копирование, что происходит при отказе оборудования.

Это самая честная проверка работы. Не наши слова о надёжности, а вопросы людей, которым платят за поиск проблем.

Кластер растёт

За время работы кластер вырос с пяти узлов до семи. Прибавлялись вычислительные мощности, добавлялись системы хранения, появлялся отдельный сервер архивации почты, разворачивались новые сервисы под новые задачи организации.

Это нормальный жизненный цикл инфраструктуры: она не строится один раз навсегда, а идёт следом за бизнесом. Наша задача — чтобы этот рост происходил по плану, а не в виде аварийной закупки в пятницу вечером.

Не единственная работа для этого заказчика

С этим заказчиком мы работаем с 2022 года, и инфраструктура — только одна её часть. На этом же кластере работают системы, которые мы для него разработали: единая цифровая платформа для системы фармаконадзора и система мониторинга источников на сообщения о нежелательных реакциях.

Такое сочетание встречается редко и даёт заказчику то, чего не бывает при разделении подрядчиков: когда программа тормозит, никто не спорит, виноват ли разработчик или администратор. Мы отвечаем и за то, и за другое.

Почему это важно для вас

Если у вас нет своей инфраструктуры и вы понимаете, что дальше так нельзя, — мы этот путь проходили с нуля и знаем, в каком порядке его проходить.

Если инфраструктура есть, но держится на одном человеке, который «всё знает», - мы умеем принимать такое наследство, описывать его и делать управляемым.

И если вы работаете в отрасли, где к вам приходят с проверкой, — мы понимаем, какие вопросы задают и что должно быть готово заранее.

Расскажите, как у вас устроено сейчас, — посмотрим, что стоит изменить.