Что такое tier iii
Введение в систему классификации TIER
Система классификации Tier, разработанная Uptime Institute для оценки надежности дата-центров, приближается к рубежу в два десятилетия. Со времени своего создания в середине 90-х гг. система прошла путь от общей терминологии до глобального стандарта проверки инфраструктуры дата-центров.
Что такое Tier?
Uptime Institute разработал стандарты Tier-классификации для оценки возможностей дата-центров с точки зрения времени безотказной работы. Уровни Tier (I-IV) прогрессирующие, то есть каждый новый уровень включает в себя требования, предъявляемые к предыдущим.
Tier I: базовый уровень. Дата центр класса Tier I ориентирован на поддержку информационных технологий для решения офисных задач. Инфраструктура включает в себя выделенное пространство для ИТ-систем, источники бесперебойного питания для фильтрации перебоев напряжения, охлаждающее оборудование, которое не отключится в конце рабочего дня, и генератор для защиты от длительных перебоев.
Tier II: резервные мощности. Оснащение класса Tier II включает резервные мощности для критически важных компонентов электроснабжения и охлаждения, что обеспечивает возможность ремонта и повышает запас прочности против проблем, связанных со сбоями оборудования.
Tier III: параллельный ремонт. Дата-центр Tier III не требует остановок для технического обслуживания и ремонта. Резервный канал электроснабжения и охлаждения добавляется к критически важным компонентам Tier II, поэтому каждый элемент, необходимый для поддержки ИТ-процесса, может быть отключен и отремонтирован без влияния на работу дата-центра.
Tier IV: отказоустойчивость. Инфраструктура Tier IV строится на базе Tier III с добавлением концепции отказоустойчивости в топологическую схему. Отказоустойчивость означает, что сбои отдельных единиц оборудования или перебои в работе резервного канала не окажут влияния на работу.
Затраты на инфраструктуру и сложность проекта возрастают с повышением Tier-класса. Tier не устанавливает конкретных технологических или проектировочных критериев. Нельзя сказать, что класс Tier IV «лучше», чем класс Tier II. Инфраструктура дата-центра должна соответствовать задачам бизнеса, не требуя чрезмерных затрат и не подвергая компанию большому риску.
В 2009 году Uptime Institute удалил показатель «ожидаемое время простоя за год» из стандартов Tier. Текущий стандарт не присваивает класс Tier исходя из прогнозов. Изменения вызваны пониманием, что действия пользователей могут иметь большее влияние на доступность сайта, чем физическая инфраструктура.
Сертификация Tier
Процесс сертификации Tier обычно начинается c внедрения новых мощностей дата-центра. Владелец дата-центра решает достичь определенного класса Tier в соответствии с запросами его бизнеса и обращается в Uptime Institute для непредвзятого и независимого анализа, гарантирующего, что проектировщики, подрядчики и поставщики услуг выполнят свои обязательства.
Первый шаг в этом процессе – сертификация проектной документации (Tier Certification of Design Documents (TCDD)). Консультанты Uptime Institute просматривают 100% документации, включая электрические, механические, мониторинговые и автоматические подсистемы, знакомятся с фундаментальными понятиями и проверяют, нет ли слабых звеньев в цепи.
За свою историю Uptime Institute провел более 400 проверок, анализируя наиболее сложные дата-центры по всему миру. Один из важных уроков, полученных при этом, состоит в том, что компании могут пройти сертификацию проектной документации и избежать последующей сертификации оборудования. Uptime Institute никогда не предполагал, что TCDD будет финальной ступенью сертификации. Это скорее контрольная точка для демонстрации того, что первая часть капитального проекта отвечает требованиям. Остановка процесса на стадии сертификации проекта наносит ущерб целостности программы, поэтому Uptime Institute внедрил срок годности для сертификата TCDD. Все TCDD, выданные после 1 января 2014 года, действуют 2 года с момента выпуска.
Следующая стадия – сертификация установленного оборудования (Tier Certification of Constructed Facility (TCCF)). Команда консультантов Uptime Institute посещает объект и выявляет несоответствия между чертежами и фактически установленным оборудованием. Консультанты Uptime Institute проводят тесты и демонстрации, доказывающие соответствие Tier. Именно в нахождении белых пятен и слабых мест и заключается ценность сертификации.
Надежность работы дата-центра определяется не только проектом и оборудованием. Текущие операции играют огромную роль в поддержании доступности сервисов дата-центра, поэтому в 2010 году Uptime Institute разработал руководство по управлению (стандарт Tier: операционная устойчивость (Tier Standard: Operational Sustainability)) и начал сертификацию текущей работы дата-центров. Процесс включает сравнительный анализ возможностей управленческой команды по специальному оценочному листу с обязательным выездом консультантов на место. Ключевые направления анализа — описание, наблюдение и подтверждение основных процессов, включая подбор персонала, обучение и техобслуживание.
За последнее время Tier сертификация приобретает все большую популярность. Сейчас в процессе сертификации находится больше компаний, чем когда-либо еще за 20-летнюю историю.
Немного статистики
Гиганты-инноваторы вроде Google, Facebook, eBay, Apple, вполне самодостаточны и не проходят сертификацию, именно поэтому фактическое количество дата-центров соответствующего уровня надёжности может быть намного больше. Например, по данным Uptime Institute в Финляндии сертифицированных дата-центров нет. Однако там размещается одно из творений Google – дата-центр в Хамине.
Если говорить о статистике самого института, на данный момент сертификацию прошло 490 дата-центров, что составляет около 10% от всех известных на сегодня. Рекордной страной по количеству дата-центров остается США, здесь находится 67 сертифицированных ЦОДов. На втором месте расположилась Бразилия с 23 центрами. Почетное третье место занимает Канада, где функционирует 19 дата-центров.
На пост-советском пространстве несомненным лидером является Россия, где находится 14 дата-центров (в том числе 13 Tier III и 1 Tier IV). Второе место заняла Литва с тремя ЦОДами, на 3-м Казахстан с двумя. Ещё по одному возведено в Украине и Латвии.
Классификация ЦОД TIER
Отказоустойчивость — главный критерий, по которому определяют надежность ЦОД и принимают решение, подходит ли тот или иной дата-центр. Он свидетельствует о том, насколько надёжен тот или иной ЦОД (то же самое, что дата-центр). Время отказа — это время, когда клиентское оборудование, размещённое в дата-центре, не работает. Оно включает в себя плановые технические работы в инфраструктуре дата-центра и аварии. Чем меньше время отказа, тем выше классификация ЦОД.
Логично классифицировать ЦОДЫ по уровням надёжности. Но «надёжность» — понятие абстрактное. Чтобы избежать размытых формулировок и сформировать чёткие технические критерии для строящихся дата-центров, решили ввести классификацию Tier. В статье рассмотрим историю вопроса и параметры, по которым отличаются между собой уровни сертификации.
Как появились уровни дата-центров Tier?
В далёком 1993 году в США был основан Uptime Institute (Институт Бесперебойных Процессов). Его создали для того, чтобы повышать надёжность и доступность ЦОДов. Учёные из этого института проработали и внедрили в оценку классификацию Tier (от англ. уровень). Это шкала надёжности ЦОДов, на которой есть всего 4 деления. Другими словами, в 2020 году существуют только: Tier I, Tier II, Tier III и Tier IV.
Есть распространённое заблуждение насчёт критерия, который лёг в основу классификации Tier. Считается, что тот или иной уровень ЦОДу присваивают по времени простоя в год. Чем оно больше, тем ниже Tier. На самом деле это условие дополняет другой важный параметр — можно ли проводить профилактику, не останавливая работу дата-центра. Для Tier I и Tier II ответ — нет. А Tier III и Tier IV ремонтируются без остановки.
Так выглядит таблица соответствий уровня Tier и временем остановки в год, влияющим на процент отказоустойчивости:
Еще раз про уровни Tier
Наверняка все слышали про ЦОД и Tier, некоторые знают, что есть некие уровни этих самых Tier и вроде бы всё это связано с серверами + отвечает за стабильность, безопасность и качество работы оных, но далеко не всё известно подробно, понятно, детально и всем.
Т.е, здесь, на Хабре, уже было несколько статей, но все они вроде бы не совсем полные. В рамках этого материала я попытался собрать всё воедино, систематизировать и донести всё доступным языком, т.е мы кратко пройдемся по определению ЦОД’ов, а потом углубимся в Tier, уровни, стандарты и понимание того, как это устроено, что означает и всё такое прочее.
Вводная и определения
Давайте для начала определимся с понятием ЦОД’а, которое мы приравниваем к понятию дата-центров, а так же ЦХОД (чуть дальше Вы поймете откуда взялась буковка “Х”).
Если говорить просто, то дата-центр, — это не что иное, как специализированное здание для размещения серверного и сетевого оборудования с последующим подключением к нему клиентов (не всегда).
В свою очередь сервера занимаются обработкой, хранением и иного рода взаимодействиями с данными.
ЦОД’ы в комплексе, — и сервера в частности, — могут иметь различные цели, хотя и в большинстве случаев кажется, что они представляют собой платформу для размещения хостинга, что не всегда справедливо. Точности ради стоит сказать, что некую долю занимают дата-центры обслуживающие платформы для майнинга или просто серверные парки в оных, занимающиеся обсчетом критически важных, с точки зрения, зачастую, инфраструктуры, данных.
Считается, что центры обслуживания и хранения данных ориентированы в большинстве своём на корпоративных клиентов и пусть в абсолютных цифрах это близко к реальности, — ЦОД так же обслуживает и частных клиентов. Самым простым примером последних может служить размещение своего сервера/серверов в стойке за определенную плату, что по сути является арендой места, либо целиком арендой физического сервера.
Цели и задачи
Изначальной целью почему-то заявляется снижение совокупной стоимости IT-инфраструктуры для того же бизнеса за счет сокращения расходов на администрирование, перераспределение нагрузок и прочее прочее.
На самом деле это не совсем так, благо цена на обслуживание инфраструктуры и мощностей заложена в стоимость аренды юнита (и всех услуг) в дата-центре, равно как и почти все остальные накладные расходы, что с этим связаны. Бизнес не работает себе в убыток, пускай и выигрывает на “расходниках” за счет плотности, инфраструктуры и оптовости.
Единственно-разумной и точной целью существования центров обслуживания и хранения данных является обеспечение стабильной и бесперебойной работы всего размещенного в нём сетевого, серверного и иного оборудования. В общем и целом это можно назвать uptime, про который мы еще поговорим далее.
Ресурсы и мощности, масштабируемость и стоимость, размеры и люди, — это второе. Стабильность и бесперебойность, — первое.
Немного лирики о взлётах и падениях
Историю, которую Вы несомненно знаете где найти и без автора статьи, начиналась с больших компьютерных комнат, продуманных настолько, насколько это возможно. Если Вы когда-то были в научных лабораториях или объектах строго режима (особенно это военка), то примерно можете себе это представить.
Множество разумно проложенных кабелей, особое расположение самих компьютеров, строгие инструкции, продуманные пространства, освещение и многое другое, — это всё то, что изначально было заложено в основу будущих ЦОД’ов.
Со временем, конечно же, с удешевлением оборудования и другими переломными для индустрии моментами, всё это кое-где перебиралось в серверные (часто не очень квалифицированные) и прочее прочее, и, казалось бы, что скоро в дата-центрах не будет нужды, но жизнь расставила всё по своим местам, — появился интернет (бум роста ЦОД-ов пришелся на 1994—2003 года), высокопроизводительные сервера/сети/системы и ресурсоемкие задачи для них и нечеловеческая необходимость в вышеупомянутой стабильности и бесперебойности работы с чем простые серверные, само собой, не справлялись.
Цена нескольких секунд простоя IT-инфраструктуры стала стоить нещадных денег, следовательно возрос спрос, появилось предложение и ЦОД’ы не то чтобы стали расти как на дрожжах, но стали появляться, масштабироваться и работать больше, лучше и эффективнее.
Т.е стало еще более жизненно необходимо не просто обеспечивать постоянную работу, но и делать её эффективной (теплоотвод, энергопотребление), быстрой и поддерживать постоянную связь с внешним миром за счет магистральных и сопутствующих каналов.
Что же это такое
Как Вы уже поняли, дата-центр, — это специализированные помещения. Точнее, — это специализированное здание с помещениями. Точнее, — это специализированная территория со всеми необходимыми коммуникациями + инфраструктурой + помещениями, способная не просто вместить (хранить) в себя все те сервера, сети и другое оборудование, но и обеспечивать выше заявленные цели, а особенно уже несколько раз упомянутый uptime.
Логичным образом дата-центры требуют больших затрат, как на этапе строительства, так и в процессе обслуживания, но не только (и не столько) финансовых, сколько логистических на всех уровнях, а также, что естественно, соответствия стандартам, суровый минимум которых представляет из себя следующий список:
Сами стандарты не взяты с потолка и связаны с компанией Telecommunications Industry Association, которая в свою очередь занимается их формированием и проверкой. Такие себе ребята, которые проверяют отели на пятизвездочность, только вот тут не отели, а ЦОД’ы.
ДЦ (дата-центр), если брать его не как здание/помещение, а территорию и говорить обобщенно, состоит из:
А вот теперь, когда мы поговорили с Вами про общее понятие и определение, про представление и стандарты, соответствия, содержимое и пр, а так же чуть чуть затронули историю, то есть смысл поговорить и о второй части, — классификации. Она же Tier.
Вводная и определения
Скорее тут будет уместно, как уже я пытался применить метафору выше, — это звёздочка как у отелей. Больше звёздочек, — выше качество по всем параметрам, что в эти звёздочки входят. Питание, охрана, уборка, вот это вот всё.
Итого, центры обработки данных (ЦОД) распределяются по 4 категориям – Tier 1, Tier 2, Tier 3 и Tier 4 (Tier 4– наивысшая категория).
Принято считать, что 4-ой нет в природе, но постепенно по ней начинают сертифицировать и упор там большей частью ориентирован на местоположение в пространстве (глобально и локально) в целях, в частности, защиты от природных катаклизмов. Почти себе дублирование природы 🙂
Сами центры делятся по размерам, надежности и предназначению:
Табличная классификация
Автор заранее предупреждает, что описанную ниже табличную классификацию он пишет так, как её «‘помнит». Гугл подсказывает, что помнит верно.
Но насколько сместились общие параметры соответствия (обратите внимание на доли) сказать может разве что сами Telecommunications Industry Association.
Теперь к словесному варианту.
Словесная квалификация
Давайте теперь разберемся, что тут к чему, собственно, на словах.
Помимо этого стоит знать, что самые популярные коммерческие ЦОД, – это Tier 2 и Tier 3.
У Tier 1 отсутствует необходимое резервирование, а Tier 4 чаще всего является частным… кхм, дата-центром.
Помимо уровня резервирования и надежности, собственно, Tier 2 и Tier 3 различаются еще и наличием собственной территории, здания, других особенностей, а именно:
Стоит отметить, что человеческая сетевая инфраструктура начинается на третьем уровне Tier, несмотря на то, что построена в общем и целом достаточно базово, — резервирование внутренних и внешних каналов играет большую роль.
Особенно выигрывает 3-йка, если дата-центра компании, что им владеет, два или больше и оба они Tier 3 (с разными каналами наружу, но парными между друг другом).
Послесловие
Стоит понимать, что сертификация уровня Tier присваивается в три этапа:
Нужно умудриться получить сертификацию на всех этапах, особенно на втором и последнем. Иначе получается, что задумали всё верно, а вот всё остальное это ад и ужас, — какие тут многозвёзд. Как с отелями в общем, начертили хорошо, построили средне, обслуживание хорошее, а вот повар… Ну Вы поняли.
Tier: уровни надежности ЦОД и что из этого следует
Основным требованием, предъявляемым к Центрам Обработки Данных (ЦОД) является отказоустойчивость. Именно отказоустойчивость ЦОД и определяет уровень надежности ЦОД. При этом подразумевается отключение ЦОД как на время планово-предупредительных работ и профилактики оборудования, так и внеплановых аварийных ситуаций.
Цель введения уровней надежности ЦОД
Очевидно, что понятие отказоустойчивости ЦОД определяет и отказоустойчивость каждой из систем ЦОД. Это означает, что тот или иной уровень надежности накладывает определенные требования сразу на всю инфраструктуру дата-центра. Фактически, из этого следует, что выбраный уровень надежности целиком определяет концепцию ЦОД.
Авторы уровней надежности ЦОД
Существующие на сегодняшний день четыре уровня надежности ЦОД, названные Tier 1, Tier 2, Tier 3 и Tier 4 введены организацией Uptime Institute (Институт Бесперебойных Процессов, США). Uptime Institute основан в 1993 году с целью повышения надежности и доступности ЦОД. Институт разработал множество нововведений, которые к настоящему моменту стали стандартными решениями, применяемыми при построении ЦОД. В частности, классификация Tier вошла в повсеместно использующийся американский стандарт TIA/EIA-942.
Для кого введены уровни надежности ЦОД
Любая классификация должна быть ориентирована на определенный круг лиц. Классификация Tier описывает надежность функционирования ЦОД и является необходимой для компаний, как желающих построить свой ЦОД, так и для арендующих чужие вычислительные мощности. В зависимости от критичности бизнеса компании, в зависимости от потерь, которые компания понесет в случае остановки её бизнес-процессов избирается тот или иной Tier.
В свою очередь, высокий уровень надежности требует высоких как капитальных, так и эксплуатационных затрат, поэтому и стоимость вычислительных мощностей также резко зависит от уровня надежности ЦОД.
Основной показатель, определяющий Tier
На первый взгляд может показаться, что основным показателем, определяющим уровень надежности является время простоя ЦОД за год и вытекающий из него коэффициент отказоустойчивости, равный отношению времени простоя за год к длительности года. Однако, следует отметить, что есть ещё более принципиальное разделение четырех уровней надежности на две категории. Критерием является возможность проведения профилактических работ без полной остановки ЦОД:
Но вернемся к отказоустойчивости. По данному показателю выделено 4 уровня надежности:
Требования, предъявляемые к каждому из уровней надежности ЦОД
Все четыре уровня Tier получили дорогу в жизнь через стандарт TIA/EIA-942. Именно в нем и указаны требования к каждому Tier.
Tier I. Базовый уровень.
ЦОД базового уровня подвержен нарушениям работы как от плановых, так и от внеплановых действий. Применение фальшпола, ИБП, ДГУ не обязательно. Если же ИБП и ДГУ используются, то выбираются более простые модели, без резерва, с множеством точек отказа. Возможны самопроизвольные отказы оборудования. Ошибки в действиях обслуживающего персонала также приведут к простою ЦОД.
В ЦОД Tier I отсутствует защита от случайных и намеренных событий, обусловленных действиями человека. Несущая способность перекрытий не менее 735кг/м² при нагрузке сверху плюс 125кг/м² нагрузки снизу.
Tier II. С резервированными компонентами.
В ЦОД Tier II время простоя возможно в связи с плановыми и внеплановыми работами, а также аварийными ситуациями, но оно сокращено благодаря введению одной резервной единицы оборудования в каждой системе. Таким образом, системы кондиционирования, ИБП и ДГУ имеют одну резервную единицу. Тем не менее, профилактические работы требуют отключения ЦОД.
Tier III. С возможностью параллельного проведения ремонтных работ.
Третий уровень надежности требует осуществления любой плановой деятельности без остановки ЦОД. Под плановыми работами подразумевается профилактическое и программируемое техническое обслуживание, ремонт и замена компонентов, добавление или удаление компонентов, их тестирование. Очевидно, что в этом случае необходимо иметь резервирование, позволяющее всю нагрузку пустить по другому пути во время работ на первом.
Итак, для реализации Tier III необходима схема резервирования блоков систем кондиционирования, ИБП, ДГУ N+1, также требуется наличие двух комплектов трубопроводов для системы кондиционирования, построенной на основе чиллера. Строительные требования обязывают сохранять работоспособность ЦОД при большинстве случаев намеренных и случайных вмешательств человека. Следует предусмотреть резервные входы, дублирующие подъездные пути, контроль доступа, отсутствие окон, защиту от электромагнитного излучения, несущую способность перекрытий не менее 1225кг/м² при нагрузке сверху плюс 245кг/м² нагрузки снизу.
Tier IV. Отказоустойчивый.
Отказоустойчивый ЦОД характеризуется безостановочной работой при проведении плановых мероприятий и способен выдержать один серьезный отказ без последствий для критически важной нагрузки. Необходим дублированный подвод питания, резервирования системы кондиционирования и ИБП по схеме 2(N+1). Для ДГУ необходима отдельная площадка с зоной хранения топлива.
Обобщенная таблица характеристик Tier
Некоторые выводы и следствия
Во-первых, в характеристиках Tier II и Tier III бросается в глаза резкая разница в длительности допустимого простоя за год (22 и 1.6 часа соответственно). И это при внешне одинаковой схеме резервирования N+1. Однако следует помнить то, что второй и третий уровни надежности принадлежат к двум принципиально разным категориям, связанным с проведением плановых работ. Если Tier II подразумывает, что при плановых работах допустимо обесточить весь ЦОД, то уровень Tier III исключает эту возможность.
В-третьих, хотелось бы упомянуть тот факт, что для ЦОД с системой холодоснабжения на основе чиллеров третий уровень надежности требует резервирования трубопроводов, причем сразу и прямого и обратного. Однако, как показывает опыт, иногда, стремясь достичь Tier III, резерв труб не предусматривается вовсе, а иногда прокладывается лишь одна дополнительная труба. А ведь Tier всего ЦОД рассчитывается исходя из наиболее критичной системы!
Наконец, критичность некоторых современных бизнес-процессов столь велика, что простой даже в 20-25 минут в год приводит к огромным убыткам для компании. Поэтому многие специалисты сходятся во мнении, что в скором времени должен появиться пятый уровень надежности ЦОД, характеризующийся пятью девятками (доступность 99.999%) и временем простоя всего 8.8 минут в год.
Дополнительные материалы
В ЗАО «ДатаДом» сделали чрезвычайно полезную выжимку информации по уровням надежности ЦОД из стандарта TIA/EIA-942 и «белой книги» Uptime Institute и объединили её в единый документ: скачать
Также подробное описание каждого из четырех Tier содержится в приложении G стандарта TIA/EIA-942: скачать приложение G из TIA/EIA-942