В конце 2003 года компания "Мегафон" открыла представительство в Новосибирске. Необходимость строительства большого регионального дата-центра в "Мобиком-Новосибирск" (торговая марка "Мегафон-Сибирь", дочерняя компания "Мегафон" в Сибирском регионе) осознавали с самого начала. В задачи этого ЦОД должна была входить обработка и хранение всех данных компании "Мегафон" по Сибирскому региону. Первый ЦОД мощностью 40 КВт был построен в конце 2003. В 2005 году был осуществлен следующий проект по созданию более мощного ЦОД со стартовой мощностью 80 КВт.

"Главный принцип, который был заложен при строительстве новосибирского дата-центра, это масштабируемость, – признается заместитель директора по ИТ "Мегафон-Сибирь" Игорь Романов. "Надо понимать, что ЦОД – это проект, который строится не на год, не на два года и не на пять лет. Потребности бизнеса постоянно растут, а деятельность операторов сотовой связи всегда предъявляет очень жесткие требования к информационным технологиям. Поэтому мы всегда находимся на пике инноваций", – говорит он.

Игорь Романов, заместитель директора по ИТ "Мегафон-Сибирь": Деятельность операторов сотовой связи всегда предъявляет очень жесткие требования к ИТ

Второе основное требование, предъявляемое "Мегафоном" к дата-центру, – его надежность. "Важнейшими элементами в данном случае выступают высочайшая отказоустойчивость и большой срок наработки на отказ", – подчеркнул заместитель директора по ИТ "Мегафон-Сибирь".

ЦОД "Мегафон-Сибирь" в Новосибирске

Ядром проекта стала инфраструктура на базе APC InfraStruXure™ тип "В" в составе двух источников бесперебойного питания Symmetra PX 80 кВт с уровнем резервирования 2N+1. К каждому ИБП подключено по четыре батарейных шкафа типа Premium. Центр оснащен внутренней СКС, обеспечивающей соединение оборудования в единую сеть Ethernet, а так же две независимые сети SAN (оптическая сеть передачи данных). Структурированная кабельная система — AMP Netconnect. Медная часть выполнена экранированным кабелем категории 6 (PiMF Compact 250), общее количество портов — 720 шт. Оптическая часть выполнена волокном типа ОМ2+, применены разъемы типа LC по технологии Light Crimp+. Общее кол-во оптических портов — 400 шт. Пропускная способность медной и оптической части — 10Гб/с, что позволяет использовать кабельную систему центра обработки данных без модернизации продолжительное время. В 2007 году дополнительно поставлен третий ИБП Symmetra PX 80 кВт с четырьмя батарейными шкафами типа Premium для обеспечения уже 160 кВт нагрузки уровнем резервирования 2N+1. Все оборудование инфраструктуры (ИБП, панели распределения питания, климат-контроль и т.д.) соединено в единую систему управления и мониторинга.

На момент начала работы "Мегафона" в Сибири опытом строительства дата-центров подобного масштаба во всей азиатской части России никто не обладал. Да и по всей стране столь больших центров насчитывалось всего несколько.

Осуществлением проекта по строительству как первого, так и второго дата-центров занялась компания "Утилекс АйТи" (головной офис в Новосибирске), специализирующаяся на ИТ-консалтинге, системной интеграции и ИТ-аутсорсинге. Проект ЦОД выполнялся на оборудовании American Power Conversion (АРС, в настоящее время APC by Schneider Electric). Выбор вендора в "Мегафоне" объясняют тем, что только АРС в 2003 году имела в своем ассортименте комплексное решение для всей инфраструктуры. Все остальные поставщики на тот момент предлагали лишь отдельные элементы. Например, General Electric производил хорошие ИБП, Rittal – хорошие шкафы, и только АРС со своим продуктом InfraStruXure объединил все эти системы в единое целое.

"ЦОД является продуктом интеграции до 17 инженерных систем, – комментирует ситуацию Владимир Тикунов, генеральный директор "Утилекс АйТи". – И до сих пор ни одна компания не производила комплексных систем. АРС первыми из всех вендоров осознали, что чем больше подсистем будут сделаны одним и тем же производителем оборудования, тем выше будет их управляемость. А управляемость – очень важный фактор для ИТ".

Вся ИТ-инфраструктура "Мегафон-Сибирь" строится по топологии "звезда".

Центром хранения и обработки данных является Новосибирск, где находится главный офис "Мегафон-Сибирь". Здесь сосредоточены основные вычислительные мощности, а также основной ИТ-персонал компании. В крупных городах Сибирского региона – таких как Омск, Томск Кемерово, Барнаул, Красноярск, Абакан и т.д. – расположены "лучи" этой "звезды". Там расположены небольшие выносы (от 2-х до 8 монтажных шкафов с ИТ-оборудованием), обеспечивающие стабильную и отказоустойчивую работу офисов в конкретном городе.

Москва не сразу строилась

Как уже упоминалось, опыта создания столь мощных ЦОД за Уральским хребтом не было практически ни у кого. "Мы оба – и подрядчик, и заказчик – в тот момент рисковали. Но правильнее было бы сказать, что мы соинвестировали. Обе компании в ходе выполнения проекта приобретали неоценимый опыт", – делится впечатлениями Владимир Тикунов.

На момент открытия ЦОД Мобиком-Новосибирск был самымым крупным дата-центром в Сибири

Среди особенностей проекта ЦОД сибирского отделения "Мегафона" – сжатые сроки реализации и масштабы центра. Так, от начала проектирования до запуска в промышленную эксплуатацию прошло всего 84 дня. Кроме того, данный центр на момент запуска являлся самым крупным в Сибирском и Дальневосточном регионах, и по сей день остается крупнейшим ЦОД сети Мегафон аза Уралом. Общая площадь помещения – около 200 кв. м, на которых расположено более 60 шкафов. При этом в помещении остается еще порядка 30% свободной площади для размещения дополнительных стоек. Помимо всего прочего, в дата-центре была применена структурированная кабельная система с пропускной способностью 10 Гб/сек.

Пусковая мощность ЦОД составляла 80 КВт. Но, как того требовал заказчик, была заранее заложена возможность масштабирования проекта до мощности 160 КВт (без учета затрат на кондиционирование).

"Когда проектировался наш ЦОД, не было ни blade-серверов такой плотности, как сегодня, ни мобильных решений, подобных Sun Black Box или АРС InfraStruXure™ Express. В то же время возможности техники и объемы обрабатываемых данных росли очень быстро. Уже в конце 2006 года мы начали переходить на blade-серверы высокой плотности. Появились системы, которые не требуют больших площадей", – вспоминает Игорь Романов.