Мини-репортаж из дата-центра Stack.Net

Технический прогресс и рост использования информационных технологий привели к тому, что одной из главных ценностей любой организации стала Информация. Соответственно, возникла масса новых задач и проблем, связанных с организацией способов хранения и обработки информации. Для решения таких задач были созданы специальные технические площадки – Дата-центры – Центры Обработки Данных, предназначенные для хранения и обработки данных клиентов с критичными требованиями к надежности функционирования оборудования и программного обеспечения, высокой пропускной способности интернет-каналов, конфиденциальности и защите информации.

Не секрет, что наши сервера недавно переехали на новый co-location Stack.Net. Заодно нам устроили небольшую экскурсию по Дата-центру.

Дата-центр Stack Group является технической площадкой, расположенной в помещении площадью 400 кв.м., к которому подведены два независимых оптоволоконных канала связи по 10 Гбит/c от главных коммутационных центров Москвы – ММТС 9 и ММТС 10 (MSK-9 и MSK-10). Дополнительный оптический канал соединяет оборудование Стек на ММТС 9 с ММТС 10, образуя кольцо, что позволило построить бесперебойную схему предоставления услуг связи в Датацентре.

По свидетельствам Stack Group, здание Датацентра оснащено надежными системами, необходимыми для 100% защиты информации и обеспечения непрерывной работы серверов и сетевого оборудования; Датацентр и предоставляемые на его базе услуги отвечают всем требованиям современных международных стандартов качества.

Владельцем здания, в котором находится Дата-центр, является компания «Статус« – партнер компании Stack Group. Самим Дата-центром и его инфраструктурой владеет Stack Group, Но реально Дата-центр и сопутствующие ему помещения занимают меньшую часть здания, остальные помещения сдаются другим компаниям. Stack Group очень часто прибегает к услугам по схеме аутсорсинга, используя наработанные схемы – в здании находится довольно малое количество тех. персонала (системных администраторов, программистов и так далее), напрямую работающего на Дата-центр, в основном используются специалисты из других компаний. Последние позволяют сильно снизить затраты на тех. персонал и сильно расширить диапазон предоставляемых услуг – при невысокой занятости проще оплачивать разовые заказы сторонним специалистам, а не держать их в постоянном штате.

По словам представителей компании Stack Group при проектировании и создании Дата-центра они руководствовались принципами, что услуги, ресурсы и инфраструктура должны удовлетворить все возможные нужды и потребности клиентов. Другими словами, большинство стандартных схем было предусмотрено заранее, а оборудование закуплено. Т.е. «заплаточные методы», которые требуют дополнительных вложений и значительных затрат времени, не используются. Оборудование и сеть были изначально спроектированы для работы в непрерывном режиме. Все системы реализованы по схеме N+1 (necessary + 1 – «необходимое + 1 запасное») с возможностью расширения.

Политика безопасности, используемая в центре, состоит из нескольких элементов. Это физическая защита, использование технических средств и организационные процедуры.

В физическую защиту входит круглосуточная охрана (контроль периметра и защита от проникновения посторонних на объект), круглосуточное видеонаблюдение за территорией и помещениями в охраняемой зоне, контроль физического доступа персонала к объектам защиты. А так же пожарная, электромагнитная безопасности и соблюдение жестких стандартов на эксплуатацию оборудования.

Другими словами, здание обнесено забором, просматривается камерами, на воротах – шлагбаум и охрана, доступ только по пропускам. Внутри здания – стойка регистрации (и выдачи временных магнитных пропусков), а так же турникеты и охрана.

Охраняемые помещения тоже наблюдаются (в том числе с использованием датчиков движения), а доступ в них осуществляется по тем же магнитным пропускам и системам дактилоскопии.

Вроде бы все отлично, вот только присутствие других компаний в здании несколько смазывает картину – не проверяется же поголовно весь персонал сторонних компаний? Понятно, что их к охраняемым помещениям не допустят, но все же…

Технические службы Дата-центра круглосуточно поддерживают бесперебойную работу всего серверного парка, каналов связи и систем жизнеобеспечения, а так же осуществляют техническую поддержку клиентов. Оборудование, установленное в серверном помещении, находится под постоянным круглосуточным контролем дежурной смены системных администраторов. В случае возникновения неполадок, дежурный оператор по инструкции, согласованной с клиентом, принимает меры по устранению проблемы или неисправности. Если событие выходит за рамки инструкции, то дежурный оператор извещает клиента о проблеме, и, по согласованию с ним, принимает решение о самостоятельном устранении неисправности или о привлечении к решению проблемы других лиц (инженеров Дата-центра, представителей клиента и др.).

Помещение дежурных операторов отделено от серверного помещения стеклянной перегородкой, которая дает возможность визуального контроля и наблюдения за состоянием оборудования. Рядом с серверным помещением имеется ремонтная комната, где клиенты или инженерный состав Дата-центра могут проводить регламентные и ремонтные работы.

В распоряжении службы поддержки клиентов находятся специалисты разных областей: системные администраторы, инженеры по программному обеспечению, сетевые инженеры и инженеры по безопасности. Специалисты Stack Group обладают необходимым опытом работы с серверным и сетевым оборудованием, системами безопасности и базовым программным обеспечением различных производителей. Сотрудники прошли специальное обучение и имеют соответствующие сертификаты. Все это позволяет им в кратчайшие сроки обнаруживать и оперативно решать любые проблемы клиентов Дата-центра.

Разумеется, мониторинг сервисов полностью автоматизирован. Оператор может посмотреть статистику по любому ресурсу, используя специализированное программное обеспечение. Оно же предупредит о возникновении каких-либо проблем.

Серверное помещение Дата-центра делится на две независимые части, оснащенные системами прецизионного кондиционирования воздуха. Большая часть серверного помещения, в которой располагается около 70 серверных 19 стоек высотой 45U, охлаждается тремя кондиционерами Himod 85OC (производитель Liebert) хладопроизводительностью 85 кВт каждый. Холодный воздух подается по воздуховодам к стойкам сверху.

Меньшая часть серверного помещения, в которой расположены стойки с оборудованием SUN, охлаждается двумя кондиционерами S23UA (производитель Liebert) хладопроизводительностью 23 кВт каждый. Подача холодного воздуха — снизу, через фальшпол. Система климат-контроля обеспечивает поддержание температуры и влажности воздуха в рабочих помещениях серверной в соответствии с международными стандартами (22 +- 0,5 градусов Цельсия, влажность 50 +- 5 %). Кондиционеры функционируют по схеме N+1, т.е. при выходе из строя одного кондиционера влажность и температура в помещении Дата-центра сохраняются на прежнем уровне. Благодаря установленной в Дата-центре системы приточно-вытяжной вентиляции, в серверном помещении отсутствует пыль, полностью устранено загрязнение сетевого и серверного оборудования и, как следствие, перегрев серверов. Это условие делает работу серверов ещё более надежной.

На данный момент бОльшая часть серверного помещения пустует, да и в той, части, которая заполнена, еще есть свободные стойки.

Многие из установленных стоек уже заняты. Хорошо видно, что клиенты Дата-центра используют совершенно разнородное оборудование.

И лишь стойка с dedicated servers от HP, которые сдаются в аренду, смотрится единообразно.

А вот так выглядят стойки с обратной стороны.

Хотя вблизи все выглядит совсем не страшно – перед нами разводка питания для серверов.

Кстати говоря, вот на этих машинах (в центре) и функционирует наш проект. На самой нижнем (4U) – крутится сайт www.ixbt.com, а пустое место над ним – отсутствующий в тот момент сервер под конференцию, он находился в ремонте.

Суммарная мощность оборудования, установленного в серверном помещении, – около 250 кВт. Реализована схема бесперебойного питания с двойным резервированием. Напряжение к серверным стойкам подается от четырех источников бесперебойного питания (UPS) PS-120 мощностью 96 кВт каждый, включенных по схеме N+1.

На снимках – отдельное помещение, где установлены источники бесперебойного питания. На мой взгляд, находящееся в комнате окно, совершенно лишнее.

Автомат ввода резервного питания.

В случае пропадания сетевого напряжения на входе UPS, автоматически (после нескольких минут ожидания, в это время питание обеспечивают UPS) включается дизель-генераторная установка Koehler мощностью 500 кВт, которая обеспечивает бесперебойную подачу сетевого напряжения на UPS на систему вентиляции и кондиционирования серверной, а также в кроссовые помещения на каждом этаже здания. Генератор также расположен в отдельном помещении. Рядом просматривается место для второго генератора, который будет установлен в будущем (это к вопросу об используемой схеме N+1 для всего оборудования).

Заземление обеспечивает специальный контур, проложенный в серверном помещении. Он соединен медной шиной с очагом низкоомного (0,5-1 Ом) заземления, расположенного за пределами здания. Этим обеспечена высокая помехозащищенность оборудования, находящегося в серверном помещении.

Серверное помещение оборудовано системой автоматического газового пожаротушения. Применяется схема локального тушения. Зал поделен на зоны (коими являются серверные стойки), в каждой зоне установлен свой датчик температуры и датчик дыма. Это означает, что при возгорании какой-либо одной зоны будет задействована система пожаротушения данного участка, и ее действия не затронут другие области.

Вместо заключения

Конечно, в статье не раскрыты такие элементы информационной безопасности, применяемой компанией, как регулярное отслеживание уязвимостей, новых типов атак, своевременное обновление программных средств; периодическое тестирование системы безопасности с имитацией различных типов атак; немедленное реагирование на возникающие угрозы и попытки вторжения; наличие регламентов и процедур обращения с паролями, разграничение уровней доступа для собственного персонала и сотрудников компаний клиентов. Так же не раскрыты средства и мероприятия собственной безопасности Дата-центра, предназначенные для предотвращения внутренних угроз: использование систем авторизованного доступа для операторов и администраторов; журналирование и аудит действий операторов и администраторов; проведение тренингов и ролевых игр для персонала; сертификация операторов и администраторов.

Также не был упомянут, предоставляемый Стеком, сервис 247365/6 (доступность более 99,5% времени). Любой клиент может заключить со Stack Group соглашение SLA (Service Level Agreement), в котором описываются различные характеристики сервисов, например, время доступности информационных ресурсов, схема финансовой компенсации. Плюс с Дата-центром можно заключить соглашение о информационных рисках, например, «перерыв коммерческой деятельности», «страхование от поломок», «действия компьютерных вирусов» и т.д. Эта возможность предоставляется потому, что Дата-центр Stack.net уверен в высоком уровне защищенности и надежности своего оборудования и инфраструктуры, а также имеет в наличии всевозможные средства сбора доказательств и объективного подтверждения страхового случая.

Просто не все можно было сфотографировать и проверить… Впрочем, основную информацию, в том числе решения на базе услуг Дата-центра, можно найти на сайте www.stack.net.

Как итог, можно сказать следующее: информационная составляющая является неотъемлемой частью любого бизнеса, а для некоторых компаний даже критичной. Поэтому компании предъявляют все больше требований по непрерывности и надежности функционирования их информационных систем, ведь от небольшого перерыва компания может не только пострадать в финансовом плане, но и потерять заработанную репутацию. Во избежание таких неприятных ситуаций во многих странах и создаются дата-центры. Их клиенты чувствуют себя уверенней, т.к. их информационные системы работают стабильно и бесперебойно, и находятся в надежных руках.