Сердце империи Google

Многие знают многоликость Google — это и популярный поисковик, и социальная сеть, а также еще множество других полезных и новаторских сервисов. Но мало кто задумывался: каким образом удалось компании развернуть и поддерживать их со столь высоким быстродействием и отказоустойчивостью? Как организовано то, что обеспечивает такие возможности,— дата-центр Google, каковы его особенности? Как раз об этом и пойдет речь в данной статье.

Собственно, корпорация Google уже давно никого не удивляет мощной динамикой своего роста. Активный борец за «зеленую энергетику», множество патентов в различных областях, открытость и дружественность по отношению к пользователям — вот те первые ассоциации, которые возникают при упоминании Google у многих. Не менее впечатляет и ЦОД (центр обработки данных, или дата-центр) компании: это целая сеть дата-центров, размещённых по всему миру, суммарной мощностью220 МВт (по состоянию на прошлый год). Учитывая тот факт, что инвестиции в ЦОД только за последний год составили 2,5 миллиарда долларов, понятно, что компания считает это направление стратегически важным и перспективным. В то же время наблюдается некое диалектическое противоречие, ведь, несмотря на публичность деятельности корпорации Google, его дата-центры являются этаким ноу-хау, тайной, скрытой за семью печатями. В компании считают, что разглашение деталей проектов может быть использовано конкурентами, поэтому лишь часть информации о наиболее передовых решениях просачивается в широкие массы, но даже эта информация весьма интересна.

Начнем с того, что непосредственно сам Google не занимается строительством ЦОД. У него есть департамент, который занимается развитием и сопровождением, а компания сотрудничает с местными интеграторами, которые и выполняют внедрение. Точное количество построенных дата-центров не афишируется, но в прессе их количество варьируется от 35 до 40 по всему миру. Основная концентрация дата-центров приходится на США, Западную Европу и Восточную Азию. Также некоторая часть оборудования размещается и в арендованных помещениях коммерческих ЦОД, имеющих хорошие каналы связи. Известно, что Google использовал площади для размещения оборудования коммерческих дата-центров Equinix (EQIX) и Savvis (SVVS). Google стратегически нацелен на переход исключительно к использованию собственных дата-центров — в корпорации это объясняют растущими требованиями к конфиденциальности информации пользователей, которые доверились компании, и неизбежностью утечки информации в коммерческих дата-центрах. Следуя последним тенденциями, летом этого года было заявлено, что Google будет предоставлять в аренду «облачную» инфраструктуру для сторонних компаний и разработчиков, соответствующую модели IaaS-сервис Compute Engine, который будет предоставлять вычислительные мощности фиксированных конфигураций с почасовой оплатой за пользование.

Основная особенность сети дата-центров не в столько в высокой надежности отдельно взятого дата-центра, сколько в гео-кластеризации. Каждый дата-центр имеет множество высокоемких каналов связи с внешним миром и реплицирует свои данные в несколько других дата-центров, территориально распределенных по миру. Таким образом, даже форс-мажорные обстоятельства вроде падения метеорита существенным образом не повлияют на сохранность данных.

География дата-центров

Первый из публичных дата-центров находится в Дугласе, США. Этот контейнерный ЦОД (рис. 1) был открыт в 2005 году. Этот же дата-центр является наиболее публичным. По сути это некая каркасная конструкция, напоминающая ангар, внутри которой в два ряда расставлены контейнеры. В одном ряду — 15 контейнеров, расположенных в один ярус, и во втором — 30 контейнеров, расположенных в два яруса. В данном дата-центре находится примерно 45 000 серверов компании Google. Контейнеры — 20-футовые морские. На текущий момент введены в работу 45 контейнеров, а мощность ИТ-оборудования составляет 10 МВт. Каждый контейнер имеет собственное подключение к гидравлическому контуру охлаждения, свой блок распределения питания — в нем есть, кроме автоматических выключателей, еще и анализаторы потребления электроэнергии групп электропотребителей для вычисления коэффициента PUE. Отдельно расположены насосные станции, каскады чиллеров, дизель-генераторные установки и трансформаторы. Декларируется PUE, равный 1.25. Система охлаждения — двухконтурная, при этом во втором контуре используются экономайзеры с градирнями, позволяющие значительно снизить время работы чиллеров. По сути это не что иное, как открытая градирня. Вода, забирающая тепло из серверной, подается в верхнюю часть башни, откуда распыляется и стекает вниз. Благодаря распылению воды тепло передается воздуху, который нагнетается извне вентиляторами, а сама вода частично испаряется. Такое решение позволяет значительно сократить время работы чиллеров в дата-центре. Интересно, что первоначально для пополнения запасов воды во внешнем контуре использовалась очищенная водопроводная вода, пригодная для питья. В компании Google быстро поняли, что вода не обязательно должная быть настолько чистой, поэтому была создана система, очищающая сточные воды из близлежащих очистных сооружений и пополняющая запасы воды во внешнем контуре охлаждения.

Внутри каждого контейнера стойки с серверами выстроены по принципу общего «холодного» коридора. Вдоль него под фальшполом находятся теплообменник и вентиляторы, которые выдувают охлажденный воздух через решетки к воздухозаборникам серверов. Нагретый воздух с тыльной части шкафов забирается под фальшпол, проходит через теплообменник и охлаждается, образуя рециркуляцию. Контейнеры оборудованы аварийным освещением, кнопками EPO, дымовыми и температурными датчиками пожарной безопасности.

Рис. 1. Контейнерный ЦОД в Дугласе

Интересно, что Google впоследствии запатентовал идею «контейнерной башни»: контейнеры ставятся друг на друга, с одной стороны организован вход, а с другого — инженерные коммуникации — системы электроснабжения, кондиционирования и подвод наружных каналов связи (рис. 2).

Рис. 2. Принцип охлаждения воздуха в контейнере

Рис. 3. Запатентованная «контейнерная башня»

Открытый годом позже, в 2006-м, в Даллесе (США), на берегу реки Колумбия, дата-центр уже состоял из трех отдельно стоящих зданий, два из которых (каждое площадью 6 400 кв. метров) были возведены в первую очередь (рис.4) — в них расположены машинные залы. Рядом с этими строениями находятся здания, в которых размещены холодильные установки. Площадь каждого здания — 1 700 кв. метров. Кроме этого, в комплексе есть административное здание (1 800 кв. метров) и общежитие для временного проживания персонала (1 500 кв. метров).

Ранее данный проект был известен под кодовым названием Project 02. Следует отметить, что само место для дата-центра было выбрано не случайно: до этого здесь функционировала алюминиевая плавильня мощностью 85 МВт, работа которой была приостановлена.

Рис. 4. Строительство первой очереди ЦОД в Далласе

В 2007 году Google начал строить дата-центр на юго-западе штата Айова — в Каунсил–Блафсе, недалеко от реки Миссури. Концепция напоминает предыдущий объект, однако есть и внешние отличия: здания объединены, а холодильное оборудование вместо охлаждающих башен размещено вдоль обеих сторон основного строения (рис. 5).

Рис. 5. Дата-центр в Каунсил-Блафсе — типовая концепция построения дата-центров Google.
Видимо, именно такая концепция была взята в качестве best practices, так как она прослеживается в дальнейшем. Примеры тому — дата-центры в США:

- Ленуар-Сити (Северная Каролина) —здание площадью в 13 000 кв. метров; построен в 2007—2008 гг. (рис. 6);

- Монкс Корнер (Южная Каролина) — открылся в 2008 году; состоит из двух зданий, между которыми зарезервирована площадка под постройку третьего; наличие собственной высоковольтной подстанции;

- Майес Каунти (Оклахома) —строительство затянулось на три года — с 2007 по 2011 год; ЦОД реализовывался в две очереди — каждая включала в себя постройку здания площадью 12 000 кв. метров; электроснабжение дата-центра обеспечивается ветряной электростанцией.

Рис. 6. Дата-центр в Ленуар-Сити

Но первенство по секретности принадлежит дата-центру в Сен-Гислене (рис. 7а). Построенный в Бельгии в 2007—2008 гг., этот дата-центр по размерам превосходит дата-центр в Каунсил-Блафсе. Кроме того, данный ЦОД примечателен тем, что при попытке рассмотреть спутниковую карту Google, вместо него вы увидите пустую площадку в чистом поле (рис. 7б). Google говорит об отсутствии негативного влияния от работы данного ЦОД на окружающие населенные пункты: в качестве воды для градирень в дата-центре используются очищенные сточные воды. Для этого рядом построена специальная станция многостадийной очистки, а вода к станции подводится по техническому судоходному каналу.

Рис. 7а. Дата-центр в Сен-Гислене на карте поисковика bing

Рис. 7б. А вот на карте Google его не существует!

Специалисты Google в процессе строительства отметили, что воду, которая используется для охлаждения наружного контура, было бы логично получать из ее естественного хранилища, а не забирать из водопровода. Корпорация для своего будущего дата-центра приобрела в Финляндии (г. Хамина) старую бумажную фабрику, которая была реконструирована под центр обработки данных (рис. 8). Проект выполнялся в течение 18 месяцев. В его реализации участвовало 50 компаний, а успешный финиш проекта пришелся на 2010 год. В то же время такой размах не случаен: разработанная концепция охлаждения действительно позволила Google заявить еще и о экологичности своих ЦОД. Северный климат в совокупности с низкой точкой замерзания соленой воды позволил обеспечить охлаждение вообще без чиллеров, применив только насосы и теплообменники. Здесь используется типовая схема с двойным контуром «вода — вода» и промежуточным теплообменником. Морская вода закачивается, попадает на теплообменники, охлаждает дата-центр и затем сбрасывается в залив в Балтийском море.

Рис. 8. Реконструкция старой бумажной фабрики в г. Хамина превращает ее в энергоэффективный ЦОД
В 2011 году в северной части Дублина (Ирландия) был построен дата-центр площадью 4 000 кв. метров. Для создания ЦОД было реконструировано уже существовавшее здесь здание склада. Это самый скромный из известных дата-центров, построенных в качестве плацдарма для развертывания сервисов компании в Европе. В этом же году началось развитие сети дата-центров и в Азии: три дата-центра должны появиться в Гонконге, Сингапуре и Тайване. А в этом году Google объявил о покупке земли для постройки дата-центра в Чили.

Примечательно, что в строящемся тайванском ЦОД специалисты Google пошли по-другому пути, решив воспользоваться экономической выгодой от наболее дешевого, ночного тарифа на электроэнергию. Вода в огромных резервуарах охлаждается при помощи чиллерной установки с баками—аккумуляторами холода и используется для охлаждения в дневное время. А вот будет ли тут использоваться фазовый переход теплоносителя или компания остановится только на баке с охлажденной водой — неизвестно. Возможно, после ввода ЦОД в эксплуатацию Google предоставит эту информацию.

Интересно, что полярной идеей является еще более смелый проект корпорации —плавучий ЦОД, который еще в 2008 году запатентовал Google. В патенте указывается, что ИТ-оборудование располагается на плавучем судне, охлаждение выполняется холодной забортной водой, а электричество производится плавучими генераторами, генерирующими электроэнергию от движения волн. Для пилотного проекта планируется использовать плавучие генераторы производства Pelamius: 40 таких генераторов, плавающих на площади 50х70 метров, позволят вырабатывать до 30 МВт электроэнергии, достаточной для работы ЦОД.

Кстати, Google регулярно обнародует показатель энергоэффективности PUE своих дата-центров. Причем интересна сама методика измерения. Если в классическом понимании стандартов Green Grid это отношение потребляемой мощности дата-центра к ее ИТ-мощности, то Google измеряет PUE в целом для объекта, включая не только системы жизнеобеспечения ЦОД, но и потери на преобразование в трансформаторных подстанциях, кабелях, энергопотребление в офисных помещений и т. д. — то есть всего, что находится внутри периметра объекта. Измеренный PUE приводится как усредненное значение для годичного периода. По состоянию на 2012 год усредненный PUE по всем дата-центрам Google составлял 1.13.

Особенности выбора места построения ЦОД

Собственно, понятно, что, строя такие громадные ЦОД, их местоположение Google выбирает не случайно. Какие же критерии в первую очередь учитывают специалисты компании?

1. Достаточно дешевая электроэнергия, возможность ее подвода и ее экологически чистое происхождение. Придерживаясь курса на сохранение окружающей среды, компания использует возобновляемые источники электроэнергии, ведь один крупный дата-центр Google потребляет около 50—60 МВт — достаточное количество, чтобы быть единоличным клиентом всей электростанции. Более того, возобновляемые источники позволяют быть независимыми от цен на энергоносители. В настоящее время используются ГЭС и парки ветряков.

2. Наличие большого количества воды, которую можно использовать для системы охлаждения. Это может быть как канал, так и естественный водоем.

3. Наличие буферных зон между дорогами и населенными пунктами для построения охраняемого периметра и сохранения максимальной конфиденциальности объекта. В то же время требуется наличие магистралей для нормального транспортного сообщения с дата-центром.

4. Площадь земли, покупаемой под строительство дата-центров, должна позволять его дальнейшее расширение и постройку вспомогательных зданий либо собственных возобновляемых источников электроэнергии.

5. Каналы связи. Их должно быть несколько, и они должны быть надежно защищены. Это требование стало особенно актуально после регулярных проблем пропадания каналов связи в дата-центре, расположенном в Орегоне (США). Воздушные линии связи проходили по ЛЭП, изоляторы на которых стали для местных охотников чем-то вроде мишеней для состязаний в стрельбе. Поэтому в сезон охоты связь с дата-центром постоянно обрывалась, и на ее восстановление требовалось много времени и значительные силы. В итоге проблему решили, проложив подземные линии связи.

6. Налоговые льготы. Логичное требование, учитывая, что используемые «зеленые технологии» стоят значительно дороже традиционных. Соответственно, при расчете окупаемости налоговые льготы должны снизить и без того высокие капитальные затраты на первом этапе.

Рис. 9. Типовой «спартанский» сервер Google — ничего лишнего

Все серверы устанавливаются в 40-дюймовые двухрамные открытые стойки, которые размещаются в ряды с общим «холодным» коридором. Интересно, что в дата-центрах Google не использует специальные конструкции для ограничения «холодного»коридора, а использует навесные жесткие подвижные полимерные ламели, уверяя, что это простое и недорогое решение, позволяющее очень быстро доустанавливать в существующие ряды шкафы и при необходимости сворачивать существующие ламели над верхом шкафа.

Известно, что, кроме аппаратного обеспечения, Google использует файловую систему Google File System (GFS), предназначенную для больших массивов данных. Особенность этой системы в том, что она кластерная: информация делится на блоки по 64 Мбайт и хранится минимум в трех местах одновременно с возможностью находить реплицированные копии. Если какая-то из систем выйдет из строя, реплицированные копии находятся автоматически, с помощью специализированных программ модели MapReduce. Сама модель подразумевает распараллелирование операций и выполнение задач на нескольких машинах одновременно. При этом внутри системы информация шифруется. Система BigTable использует распределенные массивы хранения данных для сохранения большого массива информации с быстрым доступом для хранения, например, веб-индексации, Google Earth and Google Finance. В качестве базовых веб-приложений применяются Google Web Server (GWS) и Google Front-End (GFE), использующие оптимизированное ядро Apache. Все эти системы являются закрытыми и кастомизированными — Google объясняет это тем, что закрытые и кастомизированные системы очень устойчивы против внешних атак и в них значительно меньше уязвимостей.