Виртуальный центр обработки данных: как это устроено

Дата-центр (сокращённо также используют ДЦ или ЦОД, что значит «центр обработки данных)» – это специально обустроенное здание или помещение, в котором устанавливается серверное и сетевое оборудование, а также выполняется подключение абонентов к каналам сети Интернет.

При этом помещения ЦОД приспособлены для непрерывного поддержания серверов в состоянии бесперебойной работы и защиты их от влияния внешних факторов.

Классические дата-центры представляют собой комплексы из:

• серверного оборудования, в котором хранится и обрабатывается вся размещенная информация;
• телекоммуникационной инфраструктуры, которая обеспечивает взаимосвязи технических систем дата-центра, а также упорядочивает передачу данных между ДЦ и пользователями;
• систем кондиционирования, горячих и холодных коридоров, бесперебойного электрического снабжения, пожарной безопасности и другой инфраструктуры, гарантирующей стабильную работу основного оборудования.

Как правило, ДЦ размещаются поблизости от узлов связи или точек присутствия одного или нескольких операторов связи. Качество всех дата-центров оценивают по важнейшему критерию – uptime (времени непрерывной работы сервера).

И зачем вообще нужен этот дата-центр?

Дата-центры нужны для того, чтобы обеспечить клиентам постоянный доступ к сайтам и другим проектам. Поэтому ЦОД востребованы у в первую очередь у хостинг-провайдеров, а также у банков, которые работают с мобильными сервисами, онлайн-приложениями, клиентскими службами и проводят почти мгновенные транзакции.

Так выглядит один из дата-центров компании Selectel в Москве.

В дата-центре можно арендовать физический сервер целиком или только стойку, чтобы разместить сервер в дата центре, или взять во временное пользование выделенный канал, оптоволокно или виртуальный хостинг. При этом компаниям нет необходимости оборудовать отдельное помещение, устанавливать системы звукоизоляции и датчики микроклимата, принимать в штат системного администратора. Все эти задачи решаются в дата-центре.

В зависимости от показателей времени беспрерывной работы, качества обслуживания и технических аспектов все дата-центры делятся на несколько типов:

• TIER I – базовый уровень, при котором ЦОД не имеет защиты от воздействий человеческого фактора, приводящих к простоям и аварийным ситуациям;
• TIER II – ДЦ с резервными мощностями. Время простоев, связанных с авариями или с проведением работ, у таких ЦОД сводится к минимуму благодаря использованию одной резервной единицы оборудования в каждой системе, а также благодаря присутствию базовых защитных мер от человеческого фактора;
• TIER III – ДЦ с возможностью параллельного ремонта, который может выполняться без приостановки работы ЦОД. Дата-центры этого типа отвечают требованиям сохранения работоспособности в ситуациях, связанных с вмешательством человека благодаря использованию резервных входов, схем резервирования блоков и систем кондиционирования;
• TIER IV – ДЦ с высокой отказоустойчивостью. Эти дата-центры продолжают бесперебойную работу при проведении любых мероприятий и могут выдержать один серьезный отказ без последствий для критически важной нагрузки.

На данный момент самый актуальный стандарт проектирования и построения ЦОД —  Tier 3 TIA 942 (Rated 3 Data Center). Стандарт TIER разработала компания Uptime Institute и на него равняется весь мировой рынок. Существует и следующая ступень — Tier IV, но количество ЦОД получивших такую сертификацию — единицы (сейчас это пытается сделать DataPro).

Требования к инфраструктуре достаточно жесткие, но это и является гарантом качества работы центра. Сюда входят такие параметры как: подключение к как минимум двум операторам связи, резервирование магистральных кабелей СКС, ИБП, ЦП маршрутизаторов, обязательная маркировка всех патч-панелей, розеток, кабелей, шкафов. Одно из главных преимуществ спецификации Tier 3 — возможность проведения ремонтных и аварийных работ (вплоть до замены компонентов) без остановки работы, благодаря тому, что все инженерные системы в нём зарезервированы.

Как устроен дата-центр?

Основа любого дата-центра — инженерные системы — сложное профессиональное оборудование, которое недоступно для покупки в локальную серверную. Если представить, что ЦОД — живой организм, то можно выделить пять главных систем:

1. Электроснабжение. Самый главный источник жизни дата-центра, от которого зависит стабильность и бесперебойность работы ЦОДа. Для того, чтобы ваши сайты работали 24/7 здание подключают к электросети по нескольким независимым «вводам», устанавливают системы бесперебойного питания, а также подключают дополнительный дизельный генератор на случай полного отключения.
2. Кондиционирование. Логично, что машина, которая работает 24 часа в сутки, 7 дней в неделю и 365 дней в году может перегреваться. Поэтому помещение машинного зала должно очень хорошо охлаждаться — для этого используют профессиональные прецизионные кондиционеры.
3. Безопасность. Также один из важных пунктов. Задача каждого ЦОДа не только разместить оборудование, но и обеспечить как безопасность данных, так и их конфиденциальность. Сюда можно отнести систему контроля доступа, видеонаблюдение, пожарную сигнализацию, систему экстренного пожаротушения и другие.
4. Передача данных. Стабильный и бесперебойный процесс передачи данных важен для любого дата-центра. Для обеспечения бесперебойной передачи данных используют как выделенные каналы, так и общедоступные интернет-сети с широкой полосой пропускания. 
5. Диспетчеризация. За всеми системами ведётся круглосуточное наблюдение, а устранение обнаруженных проблем происходит по заранее разработанным алгоритмам. Это исключает ошибки и позволяет решать проблемы максимально быстро.

В чём бонус размещения сервера в ЦОДе? 

Размещение сервера в дата-центре обеспечивает компании несколько существенных преимуществ:

• меньший уровень затрат по сравнению с обустройством собственной серверной, а также отсутствие необходимости перемещения инженерной инфраструктуры при переезде в новый офис – весь доступ к ней в ДЦ осуществляется через интернет;
• наличие постоянного доступа к данным и минимальный уровень рисков отключения электричества, проблем с интернет-соединением и сбоев в работе оборудования. Современные ЦОД оснащены отказоустойчивыми ИБП и дизель-генераторами, мощности которых позволяют поддерживать работу дата-центра при полной нагрузке при отключении электропитания. Кроме того, дата-центры взаимодействуют с несколькими провайдерами, что позволяет обеспечить надежное подключение и сохранять интернет-соединение даже в случае возникновения проблем у части провайдеров;
• надежность, производительность и постоянное совершенствование IT-инфраструктуры дата-центра, которая содержит в себе большое число разнообразных технических элементов – маршрутизаторов, коммутаторов, устройств безопасности, систем хранения данных, серверов, контроллеров доставки приложений, систем вентиляции и охлаждения, кабелей для подключения к внешним сетевым операторам.

Также в дата-центрах круглосуточно работают специалисты, которые могут выполнить все необходимые операции с серверами. В качестве альтернативы возможно использование удаленного управления.

Двухуровневая архитектура сети

В средних дата-центрах возникает потребность в дополнительной емкости портов, также часто бывает нужно обеспечить дополнительный уровень терминации трафика клиентов. Именно поэтому полезно использовать двухуровневую архитектуру.

Такая архитектура подразумевает наличие дополнительного уровня между оборудованием ядра/агрегации и сервером. Как правило, этот уровень реализован средствами ToR (Top-of-Rack) коммутаторов, поэтому такую архитектуру также называют ToR-архитектурой. Классический пример такого коммутатора (пусть он уже и устарел на сегодняшний день) — ZyXEL XS3900-48 °F. Он позволяет подключить до 48 серверов и систем хранения в стойке по каналам 10 GE (Gbit Ethernet) к общей сети дата-центра.

ToR-архитектура

Ключевые моменты (преимущества и ограничения) ToR-архитектуры выглядят так:

• Минимум кабелей, поскольку все серверы подключены к коммутатору в той же стойке, а за пределы самой стойки выходят только несколько кабелей.
• Количество кабелей и их общая длина меньше, поскольку каждый сервер не должен напрямую подключаться к коммутатору агрегации (aggregation switch) с использованием длинного кабеля — как в архитектуре EOR (End-Of-Row) — о ней мы еще поговорим.
• Обычно внутри стойки используются медные кабели, а для подключения ToR-коммутатора к коммутатору агрегации используется оптоволокно. Сегодня, как правило, такие сети работают в конфигурации 1GE/10GE, но с минимальными затратами возможно расширение до конфигурации 10GE/40GE.
• Если стойки небольшие, то можно использовать один коммутатор на 2–3 стойки.
• Архитектура ToR поддерживает модульное развертывание стоек дата-центра, так как каждая стойка может быть встроена со всеми необходимыми кабелями/коммутаторами и может быть быстро развернута на месте.
• Поскольку в каждой стойке используются 1U/2U коммутаторы, получить масштабируемость, когда закончится определенное количество портов, будет очень сложно.
• Архитектура ToR требует больше коммутаторов и каждый коммутатор должен управляться отдельно. Поэтому нужно понимать, что при развертывании архитектуры ToR эксплуатационные и капитальные затраты могут быть выше.
• Незапланированные расширения (внутри стойки) могут быть проблематичными.

Эксперты рекомендуют двухуровневую архитектуру для ЦОД с высокой виртуализацией и инфраструктур облачных вычислений.

Нужен ли моему бизнесу ЦОД?

Чтобы использовать ресурсы ЦОД не обязательно арендовать в нем собственные стойко-места. В 2021 году даже стартап может воспользоваться услугами виртуального ЦОД (т.е. по сути, той же аренды) для своих нужд, особенно если приложение или сервис критично к скорости обработки данных и их количество растёт по экспоненте. Для каких задач его можно использовать?

• Распространение медиаконтента: хранение и обработка статичного контента (видео-файлов, создание фотостоков, аудио) и/или потокового контента (предоставление услуг видеонаблюдения, трансляций, вещания в эфир)
• Ритейл, масс-маркет: ведение электронного документооборота, развертывание CRM/ERP, биллинговых систем, 1С и других бизнес-приложений
• Разработка и девелопмент: хранение логов (Fluentd), развёртывание тестовой среды (песочница), разработка cloud-ready приложений (готовые для работы в инфраструктуре облачных вычислений), способность держать пиковые нагрузки сайта/сервиса/приложения. Ноль вложений в ИТ-инфраструктуру, сосредоточенность на бизнес-процессах
• Медицина: Data Sceinse в медицине: анализ медицинских данных, определение эффективности лекарств, хранение снимков и анализов, диагностика заболеваний
• Госуслуги: хранение и обработка данных граждан, сервисы для населения, формирование электронной отчетности, необходимость соблюдения ФЗ №152 «О персональных данных».