Дата-центр (data-center)

ЦОД DataHouse Курская

hosellthe — Sat, 28 Jun 2014 07:37:42 GMT

Дата центр на Нижней Сыромятнической улице, находящийся недалеко от станции метро Курская – первый дата центр, запущенный группой компаний "Филанко" в рамках проекта DataHouse.ru в 2006 году.

Его запуск был связан со стремительным развитием Группы, которая на тот момент предоставляла услуги регистрации доменных имен, виртуального хостинга и высокоскоростного доступа в Интернет по собственным оптоволоконным каналам связи (ТМ Hoster.ru и CityTelecom.ru)

Таким образом, создание собственного технического центра хранения и обработки данных — явилось закономерным этапом развития компании. В результате реализации проекта, "Филанко" смогла представить своим клиентам ряд новых сервисов и комплексные решения по оптимизации их ИТ-затрат на ведение бизнеса.

Успешный старт был подтвержден быстрым заполнением мощностей дата центра, а вскоре появилась потребность и в новых центрах обработки данных, что стало причиной появления целой сети дата центров DataHouse.ru. Второй ЦОД DataHouse в Москве - ЦОД DataHouse Шоссе Энтузиастов

Основные характеристики ЦОД DataHouse Курская

Основные характеристики ЦОД DataHouse Курская:

Мощность стойки: 4,5 кВт, возможно повышение до 7 кВт
Электропитание
- общая мощность: 1 МВт;
- ввод от 2-х разных источников;
- электропитание 1-й категории
- резервирование ИБП, ДГУ
Кондиционирование
- общая холодопроизводительность: 432 кВт
Телекоммуникации
- подключен к опорной ВОЛС CityTelecom.ru
- физические стыки с Center Telecom, OBS, "Национальные кабельные сети", Rambler, "Ростелеком", RunNet-MSK, "СТАРТЕЛЕКОМ", Yandex, Linxtelecom, Google, "РТКОММ", "Гарант-Парк-Телеком", .masterhost, "ПетерСтар"
- стыки с зарубежными операторами: Cogent, Global Crossing
- пиринг до европейских IX: AMS-IX, DE-CIX, Netnod
Расположение: Москва, ул. Нижняя Сыромятническая, дом 10, строение 9 (м. Курская)

Потребляемая мощность ЦОД DataHouse Курская

Два независимых ввода от различных подстанций, а также холодный резерв предоставляют электропитание по 1-й категории.

Потребляемая мощность каждой стойки в стандартном рабочем режиме не более 4,5 кВт.

Учитывая постоянно возрастающие потребности серверов, входные мощности на 1 мВт дают возможность предоставить электропитание до 7 кВт на стойку.

Для бесперебойного питания используются источники бесперебойного питания MGE Galaxy 5000 120 кВт.

На технической площадке DataHouse.ru "Курская" успешно установлена и подключена к энергоснабжению дизельная станция FG Wilson P500P3.

Таким образом, электропитание дата центра осуществляется от трех независимых взаимно резервирующихся источников питания (ввод с подстанции, аккумуляторы, дизель). Переключение с одного источника на другой происходит без каких-либо перерывов в электроснабжении дата центра.

DataHouse.ru в своих решениях по охлаждению гермозоны использует промышленные кондиционеры Mitsubishi и Carrier. Общее решение по охлаждению гермозоны рассчитано на охлаждение мощностью 432 кВт и поддерживает комфортную температуру для серверного оборудования.

В гермозоне DataHouse.ru соблюдены все нормы по температурному и влажностному режиму.

DataHouse.ru оборудован всеми необходимыми системами газового пожаротушения согласно ГОСТ + TIA-942.

Системы включают в себя пожарную сигнализацию, состоящую из расположенных на всей территории помещения дымовых извещателей и систему газового пожаротушения.

Газ, используемый в системе, позволяет в минимальные сроки ликвидировать источник возгорания, при этом он абсолютно безвреден для оборудования.

Безопасность DataHouse.ruобеспечивается системой видеонаблюдения и системой контроля доступа.

На территории датацентра используются системы авторизованного доступа для инженеров, технического персонала и администраторов.

Правом доступа в гермозону DataHouse.ru обладают только сертифицированные инженеры компании.

Доступ фиксируется электронной системой слежения, тем самым полностью исключается возможность несанкционированного проникновения в центр хранения информации.

Все плановые технические работы на территории DataHouse.ru строго регламентируются.

Сохранность данных, размещенных в DataHouse.ru также обеспечивается возможностью создания резервных копий на дисковых массивах DataHouse.ru.

Каналы связи ЦОД DataHouse Курская

DataHouse.ru подключен к опорной волоконно-оптической сети CityTelecom.ru, протяженность которой в г. Москве составляет около 300 км.

Пропускная способность каналов до точек обмена трафиком, составляет 20 Гбит/с.

CityTelecom.ru имея развитую инфраструктуру в Москве и Санкт-Петербурге готов обеспечить подключение компаний, разместивших серверы в DataHouse.ru к собственной волоконно-оптической сети.

Использование собственной сетевой инфраструктуры позволяет CityTelecom.ru предоставить качественные услуги доступа, как в Интернет, так и к серверам, расположенным в DataHouse.ru.

Размещаемое активное оборудование может быть подключенным к платным качественным каналам связи, а так же при выполнении определенных условий по трафику к условно бесплатным каналами связи.

Пиринговые отношения ЦОД DataHouse Курская

В настоящее время мы имеем прямые физические стыки с CentrTelecom, Equant, NCNET, Rambler, Retn-Rus, Rostelecom, RunNet-MSK, StartTelecom, Yandex, Linxtelecom, Sovam, Comcor, Google, Comstar, Rtcomm, NWTelecom, Garant-Park, Eurotel, Masterhost, Estpak, Peterstar.

Стыки с зарубежными операторами Cogent и Globalcrossing, а также пиринг на Европейских IX: AMS-IX, DE-CIXВ, Netnod IX (Стокгольм), в дальнейшем планируются новые подключения для улучшения качества обслуживания клиентов.

Связность сетей до интересующих Вас хостов можно проверить по адресу http://noc.citytelecom.ru/lg/.

Активное сетевое оборудование ЦОД DataHouse Курская

Все используемое активное оборудование в DataHouse.ru произведено компанией Cisco Systems.

Поддержка ЦОД DataHouse Курская

Круглосуточная служба технической поддержки профессионально поможет клиентам разрешить возникающие трудности с оборудованием. DataHouse.ru предоставляет специально оборудованное помещение для настройки и ремонта оборудования всем своим заказчикам.

Наличие zip-оборудования позволяет DataHouse.ru оказать услуги по оперативной замене вышедших из строя серверных компонентов. Крупным клиентам DataHouse.ru предоставляет ячейки для хранения собственного комплекта zip-оборудования.

Инженерные решения в современных ЦОД компании Goog

hosellthe — Thu, 26 Jun 2014 16:26:46 GMT

Красивые фото ЦОД Google никого не оставят равнодушным, и будут крайне интересны работникам сферы высоких технологий. Профессионалам в области дизайна ЦОД стоит тщательно их изучить. Я давно заметил, что любые технические решения, демонстрируемые Google широкой публике, относятся к прошлому поколению, или и того раньше. Однако, команда Google знает свое дело, так что даже устаревшие решения заслуживают внимания.

Опубликованная ранее серия фотографий "Где живет интернет" интересна тем, что на них представлены новейшие разработки Google, применяемые в современных дата-центрах компании. Фотографии не везде сопровождаются пояснениями, однако, как гласит старая пословица, одна картинка стоит тысячи слов. "Представленные механические решения показались мне крайне интересными, и я подробно остановлюсь на них, но сначала обратимся к традиционной схеме механических систем ЦОД, с которой будем сравнивать подход, используемый Google" - говорит Джеймс Гамильтон. Дальнейший текст - выдержки из его блога.

"У традиционной схемы ЦОД есть множество недостатков, и самый очевидный из них заключается в том, что схема, разработанная сорок лет назад, явно устарела и может быть существенно модернизирована. Заметные недостатки традиционного проекта ЦОД:

нет изоляции холодных и горячих участков, что приводит к воздушным утечкам и к смешению горячего и холодного воздуха,
между шкафными кондиционерами и охлаждаемыми серверами воздух перемещается на большое расстояние, и это перемещение воздуха дорого обходится,
система охлаждения является закрытой, происходит охлаждение нагретого воздуха и его рециркуляция вместо выброса за пределы здания и забора свежего воздуха с последующим охлаждением в случае необходимости.

Схема, примененная в дата-центре Prineville Oregon компании Facebook, является прекрасным примером современного ЦОД, устраняющего перечисленные выше недостатки."

"Мне очень нравится этот объект. Применяемая схема позволяет полностью исключить систему водяного охлаждения, не использует чиллеры (достаточно дорогое оборудование), реализует полную изоляцию горячих коридоров, применяет испарительное охлаждение наружным воздухом и использует целое здание в качестве огромного, высокоэффективного воздуховода."

Давайте взглянем на дата-центр Google Council Bluffs Iowa:

"Как видно из фотографии, серверное помещение представляет собой огромную единую комнату, не разделенную на отсеки. Конструкция предусматривает изоляцию горячих участков, что позволяет почти полностью устранить утечку воздуха вокруг серверов и серверных стоек. Весь охлажденный воздух проходит через серверы, нагретый воздух направляется в теплообменник. Система изоляции воздушных потоков позволяет существенно повысить эффективность охлаждения и является вторым по значимости решением после воздушных экономайзеров. Применение воздушных экономайзеров предполагает использование наружного воздуха для охлаждения серверов, вместо охлаждения нагретого отработанного воздуха до необходимой рабочей температуры (см. указанную выше схему Facebook, предусматривающую использование всего здания в качестве воздуховода и применение воздушных экономайзеров)."

"Судя по фотографии площадки Council Bluffs, Google выбрала совершенно другой подход. Вместо отказа от применения системы водяного охлаждения и использования всего здания в качестве воздуховода, в компании решили сохранить водяное охлаждение и сделать его как можно более эффективным, используя некоторые преимущества, предоставляемые подобными системами. На фотографии дата-центра Google Hamina Finland можно заметить теплообменник с множеством катушек, расположенный над системой изоляции горячих коридоров."

"Следующая фотография, на которой представлен дата-центр Mayes County, позволяет заглянуть внутрь горячих коридоров. Видно, что охлажденная вода в них поступает по гибким шлангам в стальной оплетке. Данные шланги подают холодную воду в расположенные над горячими коридорами теплообменники, которые охлаждают отработанный воздух прежде, чем тот будет выпущен над серверными стойками."

"Одно из ключевых преимуществ водяного охлаждения заключается в том, что для заданного уровня теплоемкости перемещение воды обходится дешевле, чем воздуха. В Google используют данное преимущество за счет подачи воды непосредственно в серверную стойку. Замечательный подход, но это не первый случай применения подобного решения в отрасли. В схеме IBM iDataPlex вода подавалась непосредственно в заднюю часть стойки, схожее решение применялось также во многих системах высокопроизводительных компьютерных вычислений."

"Я не вижу преимуществ вытяжных труб над теплообменниками. Мне кажется, что любые преимущества, связанные с эффектом воздушной тяги через вытяжные трубы, будут компенсироваться потерями, связанными с использованием пассивных вытяжных труб вместо активных теплообменников."

"Подача воды непосредственно в серверную стойку является эффективным решением, однако, я все же предпочитаю воздушные экономайзеры. Любая система, выбрасывающая отработанный воздух за пределы здания и осуществляющая забор наружного воздуха (по мере необходимости) для охлаждения серверов является крайне эффективной (см. диаграмму вверху страницы). Я предпочитаю системы, использующие наружный воздух, однако, по мере роста плотности расположения серверов, мы рано или поздно придем к ситуации, когда придется использовать водяное охлаждение. И тогда придется либо пропускать охлаждающие трубы рядом с серверами, как поступает Google, либо применять прямое водяное охлаждение, использовавшееся в мейнфреймах IBM в 80х годах. Примером качественной современной системы прямого водяного охлаждения может служить подход, реализуемый Green Revolution Cooling, в котором предполагается полное погружение серверов в ванну из охлажденного масла."

"Снимаю шляпу перед Google за публикацию крайне информативной серии фотографий принадлежащих компании ЦОД. Прекрасные фотографии, и замечательные инженерные решения. Хорошая работа!"

Facebook построит дата-центр у Полярного круга

hosellthe — Thu, 26 Jun 2014 09:40:56 GMT

Первый дата-центр Facebook, расположенный за пределами США, будет построен в Швеции. Об этом сообщает The Telegraph.
Серверная ферма будет расположена в городе Лулео на севере страны, в 100 километрах от Полярного круга. Такое расположение позволит охлаждать оборудование воздухом с улицы: средняя годовая температура в этом районе составляет около 2 градусов Цельсия.

Еще одним аргументом в пользу Лулео как будущей базы для дата-центра является наличие рядом ГЭС, производящей вдвое больше энергии, чем потребляет город. Как сообщает агентство Associated Press, Facebook планирует построить три серверных помещения площадью в 28 тысяч квадратных метров каждое к 2014 году.

На сегодняшний день все сервера Facebook расположены на территории США, в штатах Калифорния, Вирджиния и Орегон. Кроме того, компания строит еще один дата-центр в штате Северная Каролина.

Facebook оказалась не первой, кто решил разместить свои сервера на севере Европы: в 2009 году компания Google разместила дата-центр в городе Хамина на юге Финляндии. Google использует воду из Балтийского моря для охлаждения оборудования.

Влияние температуры в центрах обработки данных н

hosellthe — Wed, 25 Jun 2014 03:43:05 GMT

2.3 Температура и надежность динамичного ОЗУ (DRAM)

2.3.1 Освещение проблемы и исходные данные

В этом разделе рассматривается влияние температуры на надежность DRAM, которое является одним из наиболее часто заменяемых аппаратных компонентов в дата-центрах и одной из самых распространенных аппаратных причин отказа узлов [30, 31]. DRAM имеет два разных вида ошибок: исправимые ошибки (CE), при которых переключаются отдельные биты на микросхеме DRAM, но которые можно исправить с помощью встроенной кода исправления ошибок (error correcting codes, ECC); и неисправимые ошибки (UE), при которых переключается множество битов, и число ошибочных битов является слишком большим для того чтобы ECC могла их исправить, и это вызывает фатальный сбой или выключение. Причиной исправимых ошибок (CE) могут быть внешние помехи, например, космические лучи, или аппаратные дефекты, например, залипающий бит. Причиной неисправимых ошибок обычно являются дефекты базового оборудования, так как очень маловероятно, чтобы космические лучи могли вызвать одновременное переключение такого большого число битов, чтобы это могло привести к неисправимой ошибке. Поэтому во многих ЦОД принято сразу заменять DRAM DIMM после первого случая возникновения неисправимой ошибки.

В работе [32] рассматриваются исправимые ошибки в DRAM, и показывается зависимость повышения их частоты от температуры, но делается вывод, что эта корреляция исчезает при включении управления загрузкой. В этом разделе рассматривается влияние температуры на долгосрочную надежность DRAM, а не вероятность временных проблем, т.e. влияние повышенных температур на быстроту износа DRAM и необходимости его замены.

При изучении долгосрочной надежности DRAM использовались такие методы как анализ данных по замене модулей DIMM, данных по отказам узлов, которые связаны с DRAM, и данных по неисправимым ошибкам, так последние два события могут быть признаком аппаратных проблем и, как правило, ведут к замене DIMM. Мы получали данные из трех разных источников:

Google: Google регулярно собирает данные по случаям исправимых и неисправимых ошибок во всех своих дата-центрах, а также периодически снимает показания датчиков температуры на материнской плате. Обзор системы измерений Google представлен в [32]. Для своего исследования мы получали данные по выбранной совокупности систем Google, охватывающих десяток разных центров. Дата центры основаны на пяти различных аппаратных платформах, где аппаратная платформа определяется материнской платой и поколением запоминающего устройства. Технические характеристики аппаратных платформ считаются конфиденциальной информацией и поэтому мы называем их просто Платформами A, B, C, D, E, F.

Лос-Аламосская национальная лаборатория (Los Alamos National Lab, LANL): LANL предоставила данные по отказам узлов в более чем 20 своих высокопроизводительных вычислительных кластерах, включая информацию по главным причинам отказов и продолжительности отказов. Данные можно скачать с веб-страницы LANL [1], а более детальное описание данных и систем можно найти в [30]. Неисправимые или фатальные ошибки DRAM были одной из самых распространенных причин отказов, и в этом разделе используется только подгруппа данных по отказам узлов, связанных с DRAM.

По одному из кластеров LANL есть периодические показания датчиков температуры на материнской плате, что позволяет нам непосредственно изучать взаимосвязь между температурой и отказами. Мы называем эту систему LANL-system-20, поскольку на веб-странице LANL этой системе присвоен ID 20. По другим 12 кластерам есть информация по топологии ЦОД, включая положение каждого узла в стойке. Мы использовали положение в стойке в качестве индикатора температуры, так как в связи с конструкцией системы охлаждения, в этих кластерах температура обычно выше в верхней, а не в нижней части стойки. Мы проверили это, проанализировав данные по LANL-system-20, в которых присутствуют фактические показания температуры, и узнали, что разность температуры между верхом и низом стойки составляет 4°C. Эти 12 кластеров основаны на двух различных аппаратных платформах, которые мы называем LANL-Type-1 и LANL-Type-2.

LANL-Type-1 включает в себя семь кластеров LANL, состоящих из 2720 узлов и 20880 процессоров. Все системные узлы имеют симметричную мультипроцессорную архитектуру (SMP) с 4 процессорами на узел и работают на базе одной и той же аппаратной платформы. Данные по этим системам охватывают 2002—2008 годы и соответствуют системам с IDs 3,4,5,6,18,19 и 20 на веб-странице LANL.

LANL-Type-2 включает в себя шесть кластеров LANL, состоящих из 1664 узлов и 3328 процессоров. Узлы представляют собой SMP с 2 процессорами на узел, и данные по этим система охватывают 2003—2008 гг. Эти данные также доступны на веб-странице LANL и соответствуют системам с идентификаторами ID 9, 10,11,12,13 и 14.

SciNet-GPC: Суперкомпьютерный консорциум SciNet предоставляет вычислительные ресурсы исследователям в Канаде. В настоящее время их универсальный кластер General Purpose Cluster (GPC) является самым большим суперкомпьютером в стране [2]. Мы получили от них данные по замене элементов оборудования, которые вручную вводятся администратором при замене неисправного оборудования. Полученный нами журнал замен охватывает 19 месяцев. GPC состоит из 3870 узлов IBM iDataPlex, размещенных в 45 стойках. Каждый узел содержит по два 8-ядерных процессора Intel Xeon E5540 CPU и 16 ГБ памяти с функцией ECC.

2.3.2 Анализ

На рисунке 7 показана ежемесячная вероятность отказа узлов LANL, которые связаны с проблемами памяти, вызываемыми изменением средней температуры узла. На рисунке 7 (слева) мы используем данные по LANL-system-20, которые содержат результаты фактических измерений температуры, а на Рис. 7 (в центре, справа) мы используем положение сервера в стойке в качестве индикатора температуры для систем LANL-Type-1 и LANL-Type-2. Мы пришли к заключению, что ни один из графиков не дает явного подтверждения повышения частоты отказов узлов вместе с повышением температуры.

Рисунок 7: Вероятность отказа узлов LANL, связанных с проблемами DRAM, в зависимости от температуры (слева) и положения стойки (посередине, справа).

Результаты являются схожими по частоте замены оборудования в SciNet. На Рис. 8 показана ежемесячная вероятность замены модуля DIMM в узле в зависимости от его положения в стойке. И опять мы не увидели никаких признаков повышения частоты отказов в более высоких (и отсюда более горячих) положениях стойки.

Рисунок 8: Замена модулей памяти DIMM в SciNet.

К сожалению, в связи с размером совокупности данных «усы» ошибок на этих графиках относительно высокие. Поэтому мы обратились к данным по неисправимым ошибкам, предоставленным Google, которые представляют собой совокупность данных датасет большего размера. На рисунке 9 (слева) показана ежемесячная вероятность неисправимых ошибок DRAM для пяти различных аппаратных платформ в Google. Мы пришли к заключению, что для двух моделей, моделей C и F, частота ошибок оставалась стабильной в пределах предоставленного диапазона температуры, который был довольно большим и составлял 15-60°C. Что может показаться удивительным, модели D и A показали противоречивые закономерности, при этом в первой наблюдалось снижение частоты при повышении температуры, а в последней – повышение частоты при повышении температуры. Для исследования возможной причины мы разбили данные по центрам обработки данных. На рисунке 9 (справа) показан раздел по дата-центрам для модели D. Мы пришли к заключению, что частота ошибок для индивидуальных ЦОД в основном не изменяется с температурой, за исключением одного дата-центра (datacenter-2). Именно совокупность данных из разных дата-центров создает эти явно противоречивые закономерности. Аналогичным образом, в случае модели А, мы заметили, что точки повышенной температуры отклоняются одним дата центром, который работает при более высокой температуре и обычно имеет более высокую частоту ошибок даже при низких температурах.

Рисунок 9: Вероятность фатальных ошибок DRAM в ЦОД Google при изменении температуры.

Вывод 8: Мы не нашли подтверждения повышения частоты фатальных ошибок DRAM, замены DRAM DIMM или отказов узлов, вызываемых проблемами DRAM при изменении температуры в пределах данных по диапазонам температур.

2.4 Температура и отказы узлов

2.4.1 Освещение проблемы и исходные данные

В этом разделе рассматривается влияние температуры не на отдельные аппаратные компонента, а на надежность и доступность системы в целом. В своем исследовании мы использовали данные из двух разных источников. Первый источник включает предоставленные LANL наборы данных LANL-Type-1 и LANL-Type-2. Мы не ограничивались в своем анализе данными по отказам узлов, связанных с DRAM, и включили в него все отказы узлов, связанные с аппаратными проблемами. Второй источник включает предоставленные SciNet-GPC данные по замене оборудования, но и здесь мы использовали данные по замене всех любых аппаратных компонентов, а не только модулей DRAM.

2.4.2 Анализ

На рисунке 11 показано воздействие температуры на частоту отказов узлов в LANL. На рисунке 11 (слева) показана среднемесячная вероятность отказов узлов в зависимости от изменения средней (рабочей) температуры узла для системы 20 в наборе данных LANL, так как по этой системы были доступны результаты измерений температуры.

Рисунок 11: Вероятность отказа узлов LANL при изменении температуры (слева) и положения стойки в качестве индикатора температуры (посередине, справа).

На рисунке 11 (в центре, справа) показана среднемесячная вероятность отказа узлов в зависимости от положения узла в стойке (нижнее или верхнее положение, т.e. более низкая или более высокая температура) для систем LANL-Type-1 и LANL-Type-2. В пределах диапазона температур, охватываемого нашими данными, мы не нашли никакого подтверждения того, что узлы с более высокой температурой имеют более высокую вероятность выхода из строя, чем узлы с более низкой температурой. Результаты были схожими для замен оборудования, отмеченных в SciNet (Рис. 12): никакого подтверждения того, что замена оборудования чаще проводится в узлах вверху стойки, чем в узлах внизу стойки.

Рисунок 12: Вероятность замены оборудования в SciNet.

Что касается данных LANL, мы также располагаем информацией о продолжительности отказов узлов, т.e., сколько времени потребовалось на возобновление работы узла. На рисунке 10 показаны ящичковые диаграммы общей продолжительности простоя всех узлов в месяц для системы 20. Мы пришли к заключению, что простой узлов с более высокой температурой незначительно отличается от простоя узлов с более низкой температурой, так как оба средних значения, а также верхний и нижний квартили простоя являются схожими.

Рисунок 10: Ящичковые диаграммы по простою узлов при изменении температуры.

Вывод 9: Мы не нашли никакого подтверждения того, что узлы с более высокой температурой имеют более высокие уровни отказов узлов, времени простоя и замены оборудования, чем узлы с более низкой температурой.

Можно было бы задать вопрос о том, что в большей степени влияет на отказы узлов: изменчивость температуры или средняя температура. Единственный набор данных, который позволяет нам ответить на этот вопрос, является информация по системе 20, предоставленная LANL. На рисунке 13 (справа) показана среднемесячная вероятность отказа узлов в системе LANL-system-20 в зависимости от коэффициента изменения температуры. На рисунке сравнивается вероятность отказа 50% верхних узлов с самым высоким CoV и 50% нижних узлов с самым низким CoV. Мы обратили внимание на то, что узлы с более высоким CoV имеют значительно большую частоту отказов. Для сравнения, мы также построили график вероятности отказа узлов в зависимости от средней температуры рисунок 13 (слева) и не заметили никакой разницы между узлами с высокой и низкой температурами.

Рисунок 13: Вероятность отказов узлов в зависимости от температуры (слева) и коэффициента изменения (справа).

Вывод 10: Мы пришли к заключению, что высокая изменчивость температуры, по-видимому, имеет более сильное воздействие на надежность узла, чем средняя температура.

Оригинал исследования размещен на сайте http://www.cs.toronto.edu/~nosayba/temperature_cam.pdf.

Ссылки на источники:

[1] Operational Data to Support and Enable Computer Science Research, Los Alamos National Laboratory. http://institute.lanl.gov/data/fdata/.

[2] SciNet. http://www.scinet.utoronto.ca/.

[3] S. F. Altschul, W. Gish, W. Miller, E. W. Myers, and D. J. Lipman. Basic local alignment search tool. Journal of Molecular Biology, 215 (3):403–410, 1990.

[4] D. Anderson, J. Dykes, and E. Riedel. More than an interface—SCSI vs. ATA. In Proc. of FAST 2003.

[5] L. N. Bairavasundaram, G. R. Goodson, S. Pasupathy, and J. Schindler. An Analysis of Latent Sector Errors in Disk Drives. In Proc. of SIGMETRICS'07, 2007.

[6] C. Belady, A. Rawson, J. Peuger, and T. Cader. The Green Grid Data Center Power Eciency Metrics: PUE & DCiE. Technical report, Green Grid, 2008.

[7] D. J. Bradley, R. E. Harper, and S. W. Hunter. Workload-based power management for parallel computer systems. IBM J.Res.Dev., 47:703–718, 2003.

[8] J. Brandon. Going Green In The Data Center: Practical Steps For Your SME To Become More Environmentally Friendly. Processor, 29, Sept. 2007.

[9] California Energy Commission. Summertime energy-saving tips for businesses. consumerenergycenter.org/tips/business summer.html.

[10] G. Cole. Estimating drive reliability in desktop computers and consumer electronics systems. TP-338.1. Seagate. 2000.

[11] H. J. Curnow, B. A. Wichmann, and T. Si. A synthetic benchmark. The Computer Journal, 19:43–49, 1976.

[12] A. E. Darling, L. Carey, and W. -c. Feng. The design, implementation, and evaluation of mpiblast. In In Proc. of ClusterWorld 2003, 2003.

[13] N. El-Sayed, I. Stefanovici, G. Amvrosiadis, A. A. Hwang, and B. Schroeder. Temperature management in data centers: Why some (might) like it hot. Technical Report TECHNICAL REPORT CSRG-615, University of Toronto, 2012.

[14] K. Flautner and T. Mudge. Vertigo: automatic performance-setting for linux. In Proc. of OSDI, 2002.

[15] A. Gandhi, M. Harchol-Balter, R. Das, and C. Lefurgy. Optimal power allocation in server farms. In Proc. of Sigmetrics '09, 2009.

[16] JEDEC Global Standards for the Microelectronics Industry. Arrhenius equation for reliability.

http://www.jedec.org/standards-documents/dictionary/terms/arrhenius-equation-reliability

[17] J. M. Kaplan, W. Forrest, and N. Kindler. Revolutionizing data center energy eciency. Technical report, McKinsey & Company, July 2008.

[18] J. Katcher. Postmark: a new le system benchmark. Network Appliance Tech Report TR3022, Oct. 1997.

[19] Lawrence Berkeley National Labs. Benchmarking Data Centers. benchmarking-dc.html, December 2007.

[20] J. D. McCalpin. Memory bandwidth and machine balance in current high performance computers. IEEE Comp. Soc. TCCA Newsletter, pages 19–25, Dec. 1995.

[21] L. McVoy and C. Staelin. lmbench: portable tools for performance analysis. In Proc. of USENIX ATC, 1996.

[22] D. C. Niemi. Unixbench. http://www.tux.org/pub/tux/niemi/unixbench/.

[23] C. D. Patel, C. E. Bash, R. Sharma, and M. Beitelmal. Smart cooling of data centers. In Proc. of IPACK, 2003.

[24] M. Patterson. The eect of data center temperature on energy eciency. In Proc. of ITHERM, May 2008.

[25] E. Pinheiro, R. Bianchini, E. V. Carrera, and T. Heath. Load balancing and unbalancing for power and performance in cluster-based systems, 2001.

[26] E. Pinheiro, W. D. Weber, and L. A. Barroso. Failure trends in a large disk drive population. In Proc. Of Usenix FAST 2007.

[27] S. J. Plimpton, R. Brightwell, C. Vaughan, K. Underwood, and M. Davis. A Simple Synchronous Distributed-Memory Algorithm for the HPCC RandomAccess Benchmark. In IEEE Cluster Computing, Sept. 2006.

[28] K. Rajamani and C. Lefurgy. On evaluating request-distribution schemes for saving energy in server clusters. In Proc. of the IEEE ISPASS, 2003.

[29] Rich Miller. Google: Raise your data center temperature. http://www.datacenterknowledge.com/archives/2008/10/14/google-raise-your-data-centertemperature/, 2008.

[30] B. Schroeder and G. Gibson. A large-scale study of failures in high-performance computing systems. In Proc. of DSN'06, 2006.

[31] B. Schroeder and G. A. Gibson. Disk failures in the real world: What does an MTTF of 1,000,000 hours mean to you? In Proc. of USENIX FAST, 2007.

[32] B. Schroeder, E. Pinheiro, and W. -D. Weber. DRAM errors in the wild: a large-scale eld study. In Proc. Of SIGMETRICS '09, 2009.

[33] R. Sharma, C. Bash, C. Patel, R. Friedrich, and J. Chase. Balance of power: dynamic thermal management for internet data centers. IEEE Internet Computing, 9 (1):42–49, 2005.

[34] C. Staelin. Lmbench3: Measuring scalability. Technical report, HP Laboratories Israel, 2002.

[35] R. F. Sullivan. Alternating Cold and Hot Aisles Provides More Reliable Cooling for Server Farms. In Uptime Institute, 2000.

[36] T10 Technical Committee. SCSI Block Commands –3, Rev.25. Work. Draft T10/1799-D, ANSI INCITS.

[37] T13 Technical Committee. ATA 8 — ATA/ATAPI Command Set, Rev.4a. Work. Draft T13/1699-D, ANSI INCITS.

[38] Transaction Processing Performance Council. TPC Benchmark C — Rev. 5.11. Standard, Feb. 2010.

[39] Transaction Processing Performance Council. TPC Benchmark H — Rev. 2.14.2. Standard, June 2011.

[40] R. P. Weicker. Dhrystone: a synthetic systems programming benchmark. Communications of the ACM, 27 (10):1013–1030, Oct. 1984.

Самые необычные Дата Центры: Дата Центры, как иск�

hosellthe — Thu, 15 May 2014 19:35:12 GMT

Уже давно никого не удивишь сверхсовременными центрами обработки данных (ЦОД), которых в мире насчитывается великое множество. Надежность, масштабируемость, приспособляемость – основные параметры, на которые ориентировались инженеры при проектировании Дата Центров. До недавнего времени…

В наши дни стало появляться все больше и больше Дата Центров, которые без преувеличения можно назвать настоящими произведениями искусства. Причин этому, на мой взгляд, несколько, начиная от желания завлечь клиента за счет необычности объекта (получить преимущества в маркетинге) и заканчивая банальным желанием сэкономить, но при этом сделать что-то полезное, например, сохранить объект архитектуры.

Серверная в часовне

Никогда не думали о серверной в часовне? А вот в Барселоне испанцы не только думали, но и построили. В 2005 году серверная площадью около 120 кв. м. успешно начала функционировать в бывшей часовне Torre Girona, где разместили один из самых мощных суперкомпьютеров Европы, производительностью около 94 терафлопс.

Самые необычные Дата Центры: Дата Центры, как искусствоСамые необычные Дата Центры: Дата Центры, как искусство

Таким образом «модернизированная» часовня помогает ученым решать различные задачи, такие как прогнозирование погоды, исследование генома человека или же изобретение нового лекарства.

Интересные факты о кластере:

— состоит из 2560 нод;
— общий вес около 40 тонн;
— каждая нода оснащена двумя двухядерными процессорами с частотой 2,3 ГГц и 20 ГБ оперативной памяти;
— общая производительность 94 терафлопс.

Дата Центр «Джеймса Бонда»

Другой интересный Дата Центр находится в Стокгольме и очень напоминает строение из фильмов о Джеймсе Бонде, его имя Bahnhof или Pionen White Mountains (кодовое название, сохранившееся у объекта со времен войны).

Он расположился в 30 метрах под скалой в бывшем ядерном убежище. Bahnhof до сих пор пользуется резервным питанием в духе Холодной войны — дизельными генераторами, спроектированными для использования на субмаринах. Просто ради развлечения заодно были установлены звуковые горны системы предупреждения из оригинальной немецкой подлодки.

От внешнего мира Дата Центр отделяет 40-сантиметровая стальная дверь, так же на территории убежища расположен офис телекоммуникационной компании и точка обмена трафиком. Более подробно на видео:

Интересные факты:

— площадь объекта более 1100 кв. м.
— полностью переоборудован в 2007-2008 году;
— может выдержать взрыв водородной бомбы;
— является офисом одного из самых крупных Интернет-провайдеров Швеции;
— система резервного питания времен Холодной войны Maybach MTU позволяет обеспечить около 1,5 МВатт мощности;
— тройное резервирование каналов связи (оптические линки заведены из трех различных вводов);
— система охлаждения позволяет спокойно отвести тепло с нескольких сотен шкафов полностью заполненных оборудованием (при потреблении мощности до 1,5 МВатт);
— имитируется дневное освещение, есть оранжерея и искусственные водопады, что создает комфортную рабочую атмосферу;
— 15 сотрудников только старшего технического персонала находятся на объекте постоянно.

Несколько фотографий с «Pionen White Mountains»:

Самые необычные Дата Центры: Дата Центры, как искусствоСамые необычные Дата Центры: Дата Центры, как искусство
NOC расположен в уютной обстановке джунглей: «Эти противотуманные лампы почти заставляют нас думать об облачных вычислениях. Туманные вычисления? :) »

Самые необычные Дата Центры: Дата Центры, как искусствоСамые необычные Дата Центры: Дата Центры, как искусство
Слева — вид из конференц-зала (пол в виде лунной поверхности), справа – система электропитания

Самые необычные Дата Центры: Дата Центры, как искусствоСамые необычные Дата Центры: Дата Центры, как искусство
Искусственные водопады и большое количество зеленых растений украшают залы

Самые необычные Дата Центры: Дата Центры, как искусствоСамые необычные Дата Центры: Дата Центры, как искусство
Слева – двигатели подводной лодки используются для резервного питания, справа – система электропитания

Самые необычные Дата Центры: Дата Центры, как искусствоСамые необычные Дата Центры: Дата Центры, как искусство
План Дата-Центра

Самые необычные Дата Центры: Дата Центры, как искусствоСамые необычные Дата Центры: Дата Центры, как искусство
Так выглядел бункер до переоборудования, значительная разница, не так ли? :)

Дата Центр ACT

Существуют Дата Центры, которые проектировались по самым высоким экологическим стандартам. Например, центр обработки данных ACT, расположенный в Айове, стал первым в США обладателем LEED-Platinum Certification. В его конструкции используется широкий спектр возобновляемых или переработанных материалов, таких как осиновые волокна, пробковые полы и хлопковое утепление стен. При этом ЦОД способен противостоять стихийным бедствиям, в том числе торнадо (может выдержать скорость ветра до 250 км / час).

ЦОД энергоэффективен, так как использует геотермальную энергию, что является поистине уникальным явлением (традиционно, геотермальная энергия не совместима с центрами обработки данных, из-за тепла и необходимости держать оборудование в прохладе). Дата Центр связан со вторым ЦОД, расположенным в нескольких километрах.

От ускорителя частиц до Дата Центра…

В университете Квебека, Канада, научно-исследовательский консорциум превратил здание, которое когда-то служило ускорителем частиц Ван де Граафа в многоуровневый ЦОД.

Серверные шкафы расположились на 3-х ярусах внешней стороны контура ускорителя, а тепло производимое оборудованием успешно используется для отопления кампуса университета.

Дата Центр Green Mountain – первый ЦОД с охлаждением от фьорда

В 2011 году в Норвегии был начат проект по строительству Дата Центра в толще горы на берегу фьорда Boknafjord в бункере, где ранее находился склад боеприпасов NATO. Несколько подземных залов общей площадью свыше 21 000 кв. м. будут переоборудованы для размещения серверного оборудования. По мнению инженеров, их Дата Центр станет самым «зеленым» на планете, так как для его охлаждения будет использоваться сеть труб с водой из фьорда, температура которой в любое время года не превышает 8 градусов. Это позволит сэкономить значительное количество энергии, которые потребляют традиционные холодильные установки и чиллеры и как следствие уменьшить выброс парниковых газов в атмосферу.

Автор: HostingManager

Монтаж электрических щитов для дата-центра М1

hosellthe — Thu, 15 May 2014 18:33:38 GMT

После завершения монтажа фальшпола системы Lindner (см. описание проекта Монтаж фальшпола для дата-центра "М1") и установки телекоммуникационных конструктивов с аппаратурой, Заказчик обратился в компанию АБН с просьбой выполнить работы по энергообеспечению центра. Поскольку график ввода центра в эксплуатацию был очень сжатый, работы требовалось выполнить в кратчайшие сроки.

Для подключения установленного в дата-центре "М1" оборудования компанией АБН была собрана партия электрических распределительных щитов. Щиты собирались на базе решений Шнейдер Электрик шкафов "PRISMA PLUS" различных конфигураций.

Для учета потребляемой электроэнергии в щитах монтировались счетчики. Оборудование, смонтированное в шкафах, позволяет вести учет потребляемой электроэнергии аппаратурой в каждой отдельной стойке. В щитах устанавливались сертифицированные электронные счетчики электроэнергии "Меркурий" российского производства.

Щиты собирались по нескольким индивидуальным схемам, специально разработанным для решения определенных задач. Большинство щитов предназначены для подключения шестнадцати независимых групп (стоек) потребителей электроэнергии. В состав каждой такой группы входит по шесть автоматических выключателей Шнейдер Электрик Merlin Gerin и один однофазный электронный счетчик.

Распределительная сеть дата-центров мирового ма�

hosellthe — Thu, 15 May 2014 15:03:35 GMT

Собственно, корпорация Google уже давно никого не удивляет мощной динамикой своего роста. Активный борец за «зеленую энергетику», множество патентов в различных областях, открытость и дружественность по отношению к пользователям — вот те первые ассоциации, которые возникают при упоминании Google у многих. Не менее впечатляет и ЦОД компании: это целая сеть дата-центров, размещённых по всему миру, суммарной мощностью220 МВт (по состоянию на прошлый год). Учитывая тот факт, что инвестиции в ЦОД только за последний год составили 2,5 миллиарда долларов, понятно, что компания считает это направление стратегически важным и перспективным. В то же время наблюдается некое диалектическое противоречие, ведь, несмотря на публичность деятельности корпорации Google, его дата-центры являются этаким ноу-хау, тайной, скрытой за семью печатями. В компании считают, что разглашение деталей проектов может быть использовано конкурентами, поэтому лишь часть информации о наиболее передовых решениях просачивается в широкие массы, но даже эта информация весьма интересна.
Green Grid это отношение потребляемой мощности дата-центра к ее ИТ-мощности, то Google измеряет PUE в целом для объекта, включая не только системы жизнеобеспечения ЦОД, но и потери на преобразование в трансформаторных подстанциях, кабелях, энергопотребление в офисных помещений и т. д. — то есть всего, что находится внутри периметра объекта. Измеренный PUE приводится как усредненное значение для годичного периода. По состоянию на 2012 год усредненный PUE по всем дата-центрам Google составлял 1.13.

Особенности выбора места построения ЦОД

Собственно, понятно, что, строя такие громадные ЦОД, их местоположение Google выбирает не случайно. Какие же критерии в первую очередь учитывают специалисты компании?

Достаточно дешевая электроэнергия, возможность ее подвода и ее экологически чистое происхождение. Придерживаясь курса на сохранение окружающей среды, компания использует возобновляемые источники электроэнергии, ведь один крупный дата-центр Google потребляет около 50—60 МВт — достаточное количество, чтобы быть единоличным клиентом всей электростанции. Более того, возобновляемые источники позволяют быть независимыми от цен на энергоносители. В настоящее время используются ГЭС и парки ветряков.
Наличие большого количества воды, которую можно использовать для системы охлаждения. Это может быть как канал, так и естественный водоем.
Наличие буферных зон между дорогами и населенными пунктами для построения охраняемого периметра и сохранения максимальной конфиденциальности объекта. В то же время требуется наличие магистралей для нормального транспортного сообщения с дата-центром.
Площадь земли, покупаемой под строительство дата-центров, должна позволять его дальнейшее расширение и постройку вспомогательных зданий либо собственных возобновляемых источников электроэнергии.
Каналы связи. Их должно быть несколько, и они должны быть надежно защищены. Это требование стало особенно актуально после регулярных проблем пропадания каналов связи в дата-центре, расположенном в Орегоне (США). Воздушные линии связи проходили по ЛЭП, изоляторы на которых стали для местных охотников чем-то вроде мишеней для состязаний в стрельбе. Поэтому в сезон охоты связь с дата-центром постоянно обрывалась, и на ее восстановление требовалось много времени и значительные силы. В итоге проблему решили, проложив подземные линии связи.
Налоговые льготы. Логичное требование, учитывая, что используемые «зеленые технологии» стоят значительно дороже традиционных. Соответственно, при расчете окупаемости налоговые льготы должны снизить и без того высокие капитальные затраты на первом этапе.

Особенности в деталях

Начнем с серверного парка. Количество серверов не разглашается, но различные источники информации называют цифру от одного до двух миллионов серверов, при этом говорится, что даже последняя цифра не предел, а существующие дата-центры заполнены не полностью (учитывая площади серверных помещений, с этим сложно не согласиться). Серверы выбираются исходя из соотношения цены и качества, а не исходя из абсолютного качества или производительности. Платформа серверов — x86, а в качестве операционной системы используется модифицированная версия Linux. Все серверы объединены в кластерное решение.

Компания еще в 2000 году задумалась над уменьшением потерь передачи и трансформации электроэнергии в серверах. Поэтому блоки питания соответствуют уровню Gold стандарта Energy Star — КПД блока питания не менее 90%. Также из серверов были убраны все компоненты, которые не требуются для выполнения приложений, работающих на них. К примеру, в серверах отсутствуют графические адаптеры, стоят вентиляторы с контролем оборотов, а компоненты позволяют пропорционально загрузке уменьшать свое энергопотребление. Интересно, что в больших дата-центрах и контейнерных ЦОД, где серверы являются по сути расходным материалом, видимо, было решено: срок жизни серверов сопоставим с жизнью аккумуляторов. А раз так, то вместо ИБП – батарея, которая устанавливается в корпус самого сервера. Так удалось уменьшить потери на ИБП и исключить проблему его низкого КПД при малой нагрузке. Известно, что использовалась двухпроцессорная платформа x86, а производством материнских плат специально для Google занималась небезызвестная компания Gigabyte. Любопытно, что сервер не имеет привычного нам закрытого корпуса: присутствует лишь нижняя его часть, где размещаются жесткие диски, материнская плата, батарея и блок питания (рис. 9). Процесс установки очень прост: администратор вытягивает металлическую заглушку из монтажного поля и вставляет вместо нее сервер, который свободно продувается с фронтальной части на тыльную. После установки выполняется подключение батареи и блока питания.

Состояние и работоспособность каждого жесткого диска сервера отслеживается. Дополнительно выполняется архивация данных на ленточные носители. Своеобразно решена проблема утилизации нерабочих носителей информации — жестких дисков. На первом этапе диски по очереди попадают на некое подобие пресса: металлический наконечник продавливает жесткий диск, спрессовывает камеру с пластинами, чтобы сделать невозможным чтение с них любым имеющимся на данный момент способом. Затем диски попадают в шредер, где их измельчают, и только после этого они могут покинуть территорию дата-центра.

Столь же высокий уровень безопасности и для сотрудников: охрана периметра, бригады быстрого реагирования дежурят круглосуточно, идентификация служащего вначале по пропуску, выполненному с использованием линзовой (лентикулярной) печати, снижающей вероятность подделки, а после — биометрический контроль по радужке глаза.

Рис. 9. Типовой «спартанский» сервер Google — ничего лишнего

Все серверы устанавливаются в 40-дюймовые двухрамные открытые стойки, которые размещаются в ряды с общим «холодным» коридором. Интересно, что в дата-центрах Google не использует специальные конструкции для ограничения «холодного»коридора, а использует навесные жесткие подвижные полимерные ламели, уверяя, что это простое и недорогое решение, позволяющее очень быстро доустанавливать в существующие ряды шкафы и при необходимости сворачивать существующие ламели над верхом шкафа.

Известно, что, кроме аппаратного обеспечения, Google использует файловую систему Google File System (GFS), предназначенную для больших массивов данных. Особенность этой системы в том, что она кластерная: информация делится на блоки по 64 Мбайт и хранится минимум в трех местах одновременно с возможностью находить реплицированные копии. Если какая-то из систем выйдет из строя, реплицированные копии находятся автоматически, с помощью специализированных программ модели MapReduce. Сама модель подразумевает распараллелирование операций и выполнение задач на нескольких машинах одновременно. При этом внутри системы информация шифруется. Система BigTable использует распределенные массивы хранения данных для сохранения большого массива информации с быстрым доступом для хранения, например, веб-индексации, Google Earth and Google Finance. В качестве базовых веб-приложений применяются Google Web Server (GWS) и Google Front-End (GFE), использующие оптимизированное ядро Apache. Все эти системы являются закрытыми и кастомизированными — Google объясняет это тем, что закрытые и кастомизированные системы очень устойчивы против внешних атак и в них значительно меньше уязвимостей.

Подводя итоги, хотелось бы отметить несколько важных моментов, которые не могут не удивлять. Компания Google разумно планирует затраты и стратегию развития дата-центров, применяя понятие «лучшее по цене/качеству» вместо «наилучшее решение». Нет лишнего функционала, нет никаких декоративных излишеств — только «спартанское» наполнение, хотя кому-то это может показаться не эстетичным. Компания активно использует «зеленые» технологии, причем не как самоцель, а как средство для снижения операционных затрат на электроэнергию и штрафов за загрязнение окружающей среды. При построении дата-центров уклон делается не на большое количество резервирования систем — резервируются сами ЦОД (тем самым минимизируется влияние внешних факторов). Основной упор делается на программный уровень и нестандартные решения. Ориентация на возобновляемые источники электроэнергии и использование ресурсов естественных водоемов говорит о том, что компания старается быть максимально независимой от растущих цен на энергоносители. Экологичность применяемых решений хорошо коррелирует с их энергоэффективностью. Все этого говорит о том, что компания Google имеет не только сильную техническую компетенцию, но и умеет правильно инвестировать деньги, смотреть вперед, идя в ногу с тенденциями рынка.

Константин Коваленко журнал ЦОДы.РФ, выпуск №1

Google потратил почти $21 млрд на постройку дата-цент�

hosellthe — Thu, 15 May 2014 13:12:18 GMT

С 2006 года капитальные расходы Google составляют более $21 млрд, основная их часть приходится на строительство дата-центров, закупку серверов и сетевого оборудования. Строительство каждого дата-центра требует обычно инвестиций от $200 млн до $600 млн.

Техник Google работает в орегонском дата-центре

Такие масштабы действительно поражают. Хотя точные размеры инвестиций в дата-центры не известны, но это в любом случае гигантская сумма. В каждого из нас, пользователя бесплатных сервисов Google, компания уже вложила минимум 10-20 долларов капитальных инвестиций.

В 2012-2013 годы расходы Google ещё больше увеличились, поскольку компания расширила международную экспансию, пишет Data Center Knowledge. Так, во II кв. 2013 года на дата-центры было потрачено рекордные $1,6 млрд. Четвёртый квартал 2010 года не считается, потому что тогда компания купила за $2 млрд здание на Манхэттене, в основном, для офисов.

С ноября 2012 года компания потратила $200 млн на расширение дата-центра в Айове, $600 млн на расширение дата-центра в Южной Каролине, ещё $600 млн на Северную Каролину, $390 млн на дата-центр в Бельгии. В последние месяцы Google наращивала свою инфраструктуру также в Южной Америке и Азии.

У Google самая мощная инфраструктура среди всех ИТ-компаний. Ближайшими преследователями являются Microsoft и Amazon. Например, Стив Балмер недавно хвастался, что у них уже более 1 миллиона серверов, компания потратила на дата-центры $15 млрд и уже обогнала Amazon по количеству серверов. Microsoft должна поддерживать бесперебойную работу веб-приложений, таких как Office 365, а также служб Xbox Live. Например, для инфраструктуры Xbox One, как говорили, понадобится 300 тыс. серверов. Плюс традиционные сервисы Bing, Outlook.com, SkyDrive, Windows Update и проч.

«Икеа» в Самаре откроется осенью

hosellthe — Thu, 15 May 2014 07:52:49 GMT

«Икеа» в Самаре откроется осенью

Назначена очередная предполагаемая дата открытия торгового центра «Мега» в Самаре.

Как сообщили порталу Samru в пресс-службе «Икеа», торговый центр «Мега» может встретить первых покупателей уже осенью этого года. Ранее утверждалось, что торжественное открытие произойдет в День Победы, 9 мая, но ожидания не подтвердились, так как компания не успела завершить все запланированные работы по вводу центра в эксплуатацию к этому сроку.

Напомним, что положительное заключение государственной экспертизы проектной документации и разрешение на строительство торгового центра «Мега» было получено еще в марте этого года. Следующим этапом должно стать получение разрешения на эксплуатацию проекта.

Совместно с Правительством Самарской области был разработан график работ по вводу торгового центра в эксплуатацию. В настоящее время «Икеа» работает над оставшимися вопросами по проекту. Точная дата открытия семейного торгового центра «Мега» в Самаре пока не определена.

Ирина Якоби

Мини-репортаж из Дата-Центра Stack.Net

hosellthe — Thu, 15 May 2014 04:32:56 GMT

Мини-репортаж из дата-центра Stack.Net

Технический прогресс и рост использования информационных технологий привели к тому, что одной из главных ценностей любой организации стала Информация. Соответственно, возникла масса новых задач и проблем, связанных с организацией способов хранения и обработки информации. Для решения таких задач были созданы специальные технические площадки – Дата-центры – Центры Обработки Данных, предназначенные для хранения и обработки данных клиентов с критичными требованиями к надежности функционирования оборудования и программного обеспечения, высокой пропускной способности интернет-каналов, конфиденциальности и защите информации.

Не секрет, что наши сервера недавно переехали на новый co-location Stack.Net. Заодно нам устроили небольшую экскурсию по Дата-центру.

Дата-центр Stack Group является технической площадкой, расположенной в помещении площадью 400 кв.м., к которому подведены два независимых оптоволоконных канала связи по 10 Гбит/c от главных коммутационных центров Москвы – ММТС 9 и ММТС 10 (MSK-9 и MSK-10). Дополнительный оптический канал соединяет оборудование Стек на ММТС 9 с ММТС 10, образуя кольцо, что позволило построить бесперебойную схему предоставления услуг связи в Датацентре.

По свидетельствам Stack Group, здание Датацентра оснащено надежными системами, необходимыми для 100% защиты информации и обеспечения непрерывной работы серверов и сетевого оборудования; Датацентр и предоставляемые на его базе услуги отвечают всем требованиям современных международных стандартов качества.

Владельцем здания, в котором находится Дата-центр, является компания «Статус« – партнер компании Stack Group. Самим Дата-центром и его инфраструктурой владеет Stack Group, Но реально Дата-центр и сопутствующие ему помещения занимают меньшую часть здания, остальные помещения сдаются другим компаниям. Stack Group очень часто прибегает к услугам по схеме аутсорсинга, используя наработанные схемы – в здании находится довольно малое количество тех. персонала (системных администраторов, программистов и так далее), напрямую работающего на Дата-центр, в основном используются специалисты из других компаний. Последние позволяют сильно снизить затраты на тех. персонал и сильно расширить диапазон предоставляемых услуг – при невысокой занятости проще оплачивать разовые заказы сторонним специалистам, а не держать их в постоянном штате.

По словам представителей компании Stack Group при проектировании и создании Дата-центра они руководствовались принципами, что услуги, ресурсы и инфраструктура должны удовлетворить все возможные нужды и потребности клиентов. Другими словами, большинство стандартных схем было предусмотрено заранее, а оборудование закуплено. Т.е. «заплаточные методы», которые требуют дополнительных вложений и значительных затрат времени, не используются. Оборудование и сеть были изначально спроектированы для работы в непрерывном режиме. Все системы реализованы по схеме N+1 (necessary + 1 – «необходимое + 1 запасное») с возможностью расширения.

Политика безопасности, используемая в центре, состоит из нескольких элементов. Это физическая защита, использование технических средств и организационные процедуры.

В физическую защиту входит круглосуточная охрана (контроль периметра и защита от проникновения посторонних на объект), круглосуточное видеонаблюдение за территорией и помещениями в охраняемой зоне, контроль физического доступа персонала к объектам защиты. А так же пожарная, электромагнитная безопасности и соблюдение жестких стандартов на эксплуатацию оборудования.

Другими словами, здание обнесено забором, просматривается камерами, на воротах – шлагбаум и охрана, доступ только по пропускам. Внутри здания – стойка регистрации (и выдачи временных магнитных пропусков), а так же турникеты и охрана.

Охраняемые помещения тоже наблюдаются (в том числе с использованием датчиков движения), а доступ в них осуществляется по тем же магнитным пропускам и системам дактилоскопии.

Вроде бы все отлично, вот только присутствие других компаний в здании несколько смазывает картину – не проверяется же поголовно весь персонал сторонних компаний? Понятно, что их к охраняемым помещениям не допустят, но все же…

Технические службы Дата-центра круглосуточно поддерживают бесперебойную работу всего серверного парка, каналов связи и систем жизнеобеспечения, а так же осуществляют техническую поддержку клиентов. Оборудование, установленное в серверном помещении, находится под постоянным круглосуточным контролем дежурной смены системных администраторов. В случае возникновения неполадок, дежурный оператор по инструкции, согласованной с клиентом, принимает меры по устранению проблемы или неисправности. Если событие выходит за рамки инструкции, то дежурный оператор извещает клиента о проблеме, и, по согласованию с ним, принимает решение о самостоятельном устранении неисправности или о привлечении к решению проблемы других лиц (инженеров Дата-центра, представителей клиента и др.).

Помещение дежурных операторов отделено от серверного помещения стеклянной перегородкой, которая дает возможность визуального контроля и наблюдения за состоянием оборудования. Рядом с серверным помещением имеется ремонтная комната, где клиенты или инженерный состав Дата-центра могут проводить регламентные и ремонтные работы.

В распоряжении службы поддержки клиентов находятся специалисты разных областей: системные администраторы, инженеры по программному обеспечению, сетевые инженеры и инженеры по безопасности. Специалисты Stack Group обладают необходимым опытом работы с серверным и сетевым оборудованием, системами безопасности и базовым программным обеспечением различных производителей. Сотрудники прошли специальное обучение и имеют соответствующие сертификаты. Все это позволяет им в кратчайшие сроки обнаруживать и оперативно решать любые проблемы клиентов Дата-центра.

Разумеется, мониторинг сервисов полностью автоматизирован. Оператор может посмотреть статистику по любому ресурсу, используя специализированное программное обеспечение. Оно же предупредит о возникновении каких-либо проблем.

Серверное помещение Дата-центра делится на две независимые части, оснащенные системами прецизионного кондиционирования воздуха. Большая часть серверного помещения, в которой располагается около 70 серверных 19 стоек высотой 45U, охлаждается тремя кондиционерами Himod 85OC (производитель Liebert) хладопроизводительностью 85 кВт каждый. Холодный воздух подается по воздуховодам к стойкам сверху.

Меньшая часть серверного помещения, в которой расположены стойки с оборудованием SUN, охлаждается двумя кондиционерами S23UA (производитель Liebert) хладопроизводительностью 23 кВт каждый. Подача холодного воздуха — снизу, через фальшпол. Система климат-контроля обеспечивает поддержание температуры и влажности воздуха в рабочих помещениях серверной в соответствии с международными стандартами (22 +- 0,5 градусов Цельсия, влажность 50 +- 5 %). Кондиционеры функционируют по схеме N+1, т.е. при выходе из строя одного кондиционера влажность и температура в помещении Дата-центра сохраняются на прежнем уровне. Благодаря установленной в Дата-центре системы приточно-вытяжной вентиляции, в серверном помещении отсутствует пыль, полностью устранено загрязнение сетевого и серверного оборудования и, как следствие, перегрев серверов. Это условие делает работу серверов ещё более надежной.

На данный момент бОльшая часть серверного помещения пустует, да и в той, части, которая заполнена, еще есть свободные стойки.

Многие из установленных стоек уже заняты. Хорошо видно, что клиенты Дата-центра используют совершенно разнородное оборудование.

И лишь стойка с dedicated servers от HP, которые сдаются в аренду, смотрится единообразно.

А вот так выглядят стойки с обратной стороны.

Хотя вблизи все выглядит совсем не страшно – перед нами разводка питания для серверов.

Кстати говоря, вот на этих машинах (в центре) и функционирует наш проект. На самой нижнем (4U) – крутится сайт www.ixbt.com, а пустое место над ним – отсутствующий в тот момент сервер под конференцию, он находился в ремонте.

Суммарная мощность оборудования, установленного в серверном помещении, – около 250 кВт. Реализована схема бесперебойного питания с двойным резервированием. Напряжение к серверным стойкам подается от четырех источников бесперебойного питания (UPS) PS-120 мощностью 96 кВт каждый, включенных по схеме N+1.

На снимках – отдельное помещение, где установлены источники бесперебойного питания. На мой взгляд, находящееся в комнате окно, совершенно лишнее.

Автомат ввода резервного питания.

В случае пропадания сетевого напряжения на входе UPS, автоматически (после нескольких минут ожидания, в это время питание обеспечивают UPS) включается дизель-генераторная установка Koehler мощностью 500 кВт, которая обеспечивает бесперебойную подачу сетевого напряжения на UPS на систему вентиляции и кондиционирования серверной, а также в кроссовые помещения на каждом этаже здания. Генератор также расположен в отдельном помещении. Рядом просматривается место для второго генератора, который будет установлен в будущем (это к вопросу об используемой схеме N+1 для всего оборудования).

Заземление обеспечивает специальный контур, проложенный в серверном помещении. Он соединен медной шиной с очагом низкоомного (0,5-1 Ом) заземления, расположенного за пределами здания. Этим обеспечена высокая помехозащищенность оборудования, находящегося в серверном помещении.

Серверное помещение оборудовано системой автоматического газового пожаротушения. Применяется схема локального тушения. Зал поделен на зоны (коими являются серверные стойки), в каждой зоне установлен свой датчик температуры и датчик дыма. Это означает, что при возгорании какой-либо одной зоны будет задействована система пожаротушения данного участка, и ее действия не затронут другие области.

Вместо заключения

Конечно, в статье не раскрыты такие элементы информационной безопасности, применяемой компанией, как регулярное отслеживание уязвимостей, новых типов атак, своевременное обновление программных средств; периодическое тестирование системы безопасности с имитацией различных типов атак; немедленное реагирование на возникающие угрозы и попытки вторжения; наличие регламентов и процедур обращения с паролями, разграничение уровней доступа для собственного персонала и сотрудников компаний клиентов. Так же не раскрыты средства и мероприятия собственной безопасности Дата-центра, предназначенные для предотвращения внутренних угроз: использование систем авторизованного доступа для операторов и администраторов; журналирование и аудит действий операторов и администраторов; проведение тренингов и ролевых игр для персонала; сертификация операторов и администраторов.

Также не был упомянут, предоставляемый Стеком, сервис 247365/6 (доступность более 99,5% времени). Любой клиент может заключить со Stack Group соглашение SLA (Service Level Agreement), в котором описываются различные характеристики сервисов, например, время доступности информационных ресурсов, схема финансовой компенсации. Плюс с Дата-центром можно заключить соглашение о информационных рисках, например, «перерыв коммерческой деятельности», «страхование от поломок», «действия компьютерных вирусов» и т.д. Эта возможность предоставляется потому, что Дата-центр Stack.net уверен в высоком уровне защищенности и надежности своего оборудования и инфраструктуры, а также имеет в наличии всевозможные средства сбора доказательств и объективного подтверждения страхового случая.

Просто не все можно было сфотографировать и проверить… Впрочем, основную информацию, в том числе решения на базе услуг Дата-центра, можно найти на сайте www.stack.net.

Как итог, можно сказать следующее: информационная составляющая является неотъемлемой частью любого бизнеса, а для некоторых компаний даже критичной. Поэтому компании предъявляют все больше требований по непрерывности и надежности функционирования их информационных систем, ведь от небольшого перерыва компания может не только пострадать в финансовом плане, но и потерять заработанную репутацию. Во избежание таких неприятных ситуаций во многих странах и создаются дата-центры. Их клиенты чувствуют себя уверенней, т.к. их информационные системы работают стабильно и бесперебойно, и находятся в надежных руках.