Список "Что случилось с ...?" в избытке содержит названия широко разрекламированных сетевых технологий. Но помимо множества мертворожденных разработок он включает также перечень многообещающих технологиях, которые по той или иной причине не вызвали фурора в сетевом мире к назначенному сроку, как то было обещано учеными мужами.

Технология кластеризации находится не так уж и далеко в этом списке. Несмотря на то что компании Digital Equipment, Tandem, IBM и Sun Microsystems предлагают кластерные продукты в течение многих лет, появление разработок наподобие Cluster Server компании Microsoft (возможно, он вам более знаком под кодовым названием Wolfpack), обещавших ввести кластеризацию и в другие сети помимо UNIX, привело к тому, что несколько лет назад технология стала опять мелькать в заголовках компьютерных изданий.

Несмотря на весь объем печатных материалов, посвященных кластеризации, ее реализаций не так уж и много, особенно в сравнении с традиционными технологиями обеспечения отказоустойчивости и доступности типа зеркального дублирования серверов. При кластеризации два или более серверов (или узлов) совместно используют общие ресурсы, так что они могут обеспечить высокую степень доступности и, в конечном итоге, масштабируемости. При традиционном подходе резервная система вступает в работу, когда основной сервер выходит из строя.

Помимо кластеризации серверов значительное внимание привлекают сетевые хранилища — но, опять же, не в смысле объема внедрений. Использующие технологию Fibre Channel сетевые хранилища позволяют, по крайней мере теоретически, повысить доступность за счет организации сети устройств хранения (Storage Area Network, SAN) и обеспечения более интеллектуальной кластеризации с помощью усовершенствованных функций управления. (SAN — это конфигурация, в которой сервер исключается в качестве посредника между системой хранения и другими сетевыми устройствами.)

Существуют разные мнения, почему распространение кластеризации идет не столь быстрыми темпами, как ожидалось. По мнению Тома Нолле, президента консалтинговой фирмы CIMI, спрос на специализированные серверы приложений возрастает, но на уровне рабочей группы, поэтому число клиентов недостаточно велико для оправдания использования кластерной технологии.

Что касается кластеризации серверов и накопителей, Нолле полагает, что "ожидать резкого увеличения числа реализаций не следует", по крайней мере в ближайшие пять лет или около того.

Исходя из такой оценки, вы вправе спросить, насколько жизнеспособной опцией кластеризация является с точки зрения расшивки узких мест сети? Ответ будет зависеть от многих факторов. Ниже мы рассмотрим некоторые соображения, а также приведем примеры компаний, успешно использующих технологию кластеризации.

Ответ на вопрос о практической пользе кластеризации как решения для вашей сети зависит от нескольких переменных, ряд которых перечислен во врезке "Ваша сеть — кандидат на кластеризацию?". Одна из наиболее важных переменных — это состояние рынка. В конце концов, если программное и аппаратное обеспечение для данной технологии отсутствует, то число реализаций вряд ли возрастет.

Выбор продуктов зависит до некоторой степени от того, какие системы преобладают в вашей сети — ПК на базе процессоров Intel или более мощные RISC-серверы и нестандартные системы типа OpenVMS от Digital и RS/6000 SP от IBM, теоретически способные масштабироваться до сотен узлов.

Когда речь идет о кластеризации, системы на базе UNIX имеют преимущество вследствие структурной адаптируемости операционной системы к распределению задач между несколькими серверами. Примером может служить почтенная архитектура Himalaya NonStop компании Tandem, имеющая достопримечательную историю в этой области. Tandem разработала также коммутирующую структуру ServerNet для поддержки масштабируемой кластерной архитектуры. Кроме того, компания предложила кластерное промежуточное обеспечение и программу для управления кластером.

Hewlett-Packard добилась значительных успехов на рынке UNIX в целом. Компания связывает этот успех отчасти с выпуском серверов HP 9000 V Class и операционной системы HP/UX 11 в конце 1997 года. HP выпустила также аналоги приложений для мэйнфреймов, ряд которых предназначен для поддержки кластеризации.

Как было заявлено, Enterprise Cluster компании Sun Microsystems позволяет создавать кластеры из четырех узлов и обеспечивает поддержку устройств хранения, а также других систем на базе технологии Fibre Channel.

С точки зрения ситуации на рынке одним из наиболее значительных событий стало приобретение Tandem и Digital Equipment компанией Compaq, обе из которых предлагали хорошо себя зарекомендовавшие решения в области кластеризации.

Одно из самых последних событий — объявление SCO и Compaq о предоставлении лицензии на кластерную технологию UNIX поставщикам серверов Intel. Согласно заявлениям компаний, программное обеспечение Non-Stop Clusters, состоящее из Single System Image (SSI) и распределителя нагрузки, позволяет объединить в кластер до шести серверов. (Благодаря SSI кластер серверов выглядит как одна система.)

Когда готовилась эта статья, Non-Stop Clusters for UnixWare только-только появились, а компании объявили о своих планах относительно поддержки других платформ, в том числе Sun Solaris.

Cluster Server компании Microsoft, привлекший к себе значительное внимание, поддерживает пока только кластер из двух узлов на базе стандартных ПК-серверов. Microsoft планирует реализовать кластеризацию в несколько этапов или фаз, в частности кластеры второй фазы будут содержать до 16 узлов.

Несмотря на имеющиеся ограничения, многие компании разрабатывают совместимые с Cluster Server продукты. Как сообщается, Compaq намеревается выпустить кластер из шести серверов ProLiant 6500 для Oracle Parallel Server.

Digital Clusters for Windows NT функционируют как на системах Intel, так и Alpha. В настоящее время Digital работает над расширениями для Cluster Server, которые должны, как ожидается, улучшить кластерную технологию, используемую с Exchange компании Microsoft.

Идя своим путем в области кластеризации, Novell представила стратегию кластеризации под кодовым названием Orion. Как сообщается, линия продуктов первой фазы реализует функции обеспечения постоянной доступности для двух узлов, поддерживает два активных сервера NetWare 4.11 и предлагает разделяемое хранилище. Orion Phase II, выпуск которого намечен на конец 1998 года, будет поддерживать несколько узлов и войдет в NetWare 5.0. Что касается продуктов обеспечения постоянной доступности, компания объявила о StandbyServer Many-to-One, версии зеркальных продуктов Standby Server от Vinca на несколько узлов.

Ряд разработок был представлен и на рынке сетевых систем хранения, в том числе High Availability Disk Array Model 30/FC от HP и поддержка от Compaq для технологии ServerNet компании Tandem для системных сетей.

Иной подход реализуется в ClearPath HMP IX5800 от Unisys, который может выполняться в кластере из восьми систем, с доступом к общей массовой системе хранения.

Цена оказывается основным фактором при определении того, в какой мере технология способна окупить затраченные на нее средства. Рынок систем хранения и резервного копирования наглядно иллюстрирует этот принцип. В некоторых сетях типичные подходы к резервному копированию и системам хранения будут вполне адекватны еще долгое время. Но тем, кому повышенная надежность и доступность действительно необходимы, системы хранения на базе технологии Fibre Channel могут дать желаемые результаты.

Хотя традиционный сценарий планового резервного копирования, применяемый во многих организациях, обходится обычно дешевле, чем реализация кластеризации на базе Fibre Channel и SAN, кластеризация позволяет тиражировать данные чаще, чем стандартные методы. Таким образом, вы должны тщательно оценить важность актуальности копий данных по сравнению с тем, сколько достижение этой цели будет стоить.

Несмотря на неизбежные вопросы совместимости и конфигурации, рынок не испытывает недостатка в предложении серверов, пригодных для кластеризации. Серверы Himalaya от Tandem, системы RS/6000 от IBM, AlphaServer от Compaq (ранее от Digital Equipment), AviiON от Data General — вот только несколько наиболее известных решений.

Другой требующий рассмотрения вопрос — оборудование межсоединения. Технология, на которой эти устройства базируются, совершенствуется, расширяя свои возможности по поддержке приложений типа кластеризации.

Усовершенствованные, высокоскоростные интерфейсы типа SCSI-3 и UltraSCSI; высокопроизводительные сетевые платы, шины и мосты; ЦПУ с высоким уровнем функциональности — все они могут способствовать реализации кластерных технологий.

Сокращение цен необходимо, чтобы по крайней мере некоторые из этих устройств стали реальной альтернативой в широком масштабе, но оно произойдет, очевидно, не сразу. Вопрос стоит так — сколько времени на это потребуется?

Один из определяющих факторов пригодности кластеризации для вашей сети лежит в области приложений. В общем случае кластеризация пользуется наибольшим спросом для обеспечения отказоустойчивости и постоянной доступности (но не масштабируемости).

Кластеризация предназначена для использования с высококритичными приложениями, но последний термин часто для разных организаций означает разные вещи. Она вовсе не обязательно означает поддержку баз данных старшего класса, так как многие компании считают высококритичными такие обыденные функции, как сервисы файлов и печати.

Что касается заказчиков, основными потребителями кластерных технологий являются финансовые и банковские институты, организации здравоохранения, пользователи складов данных и провайдеры Internet.

Если простому серверу Web мощь кластеризации может оказаться ненужной, то некоторым приложениям для размещения на коммерческой основе информационного наполнения Web она пригодится как нельзя кстати при условии, что бурное развитие технологии будет продолжаться. Новые разработки в области кластеризации для поддержки размещения чужого информационного наполнения на своих серверах не заставят себя ждать, если Internet получит еще более широкое применение в будущем.

Когда дело касается внедрения технологии, вопрос стандартов возникает практически в обязательном порядке. В случае кластерных технологий это Virtual Interface Architecture (VIA), предложение по стандарту для разработки совместимого кластерного аппаратного и программного обеспечения. Продвигаемый Compaq, Intel и Microsoft, эта спецификация позволяет производителям разрабатывать приложения независимо от операционной системы и аппаратных компонентов межсоединения между узлами.

Принятие стандарта VIA не обязательно даст зеленый свет для широкомасштабного внедрения кластерных технологий, но оно поможет значительно продвинуться в этой области, так как многие потенциальные пользователи не желают вкладывать деньги в нестандартизированные технологии.

Наконец, как и при любых других решениях, касающихся сетевой технологии, стоимость кластеризации необходимо скрупулезно подсчитать, прежде чем делать свой выбор. Если своих целей вы можете достигнуть — сейчас и в обозримом будущем — менее дорогостоящим путем, то полномасштабная кластеризация не нужна. Например, чтобы обеспечить доступность ограниченного числа серверов, простой сценарий с двумя узлами, один из которых подменяет другой в случае его выхода из строя, может оказаться вполне достаточным — и намного более дешевым. Или если вы используете систему с симметричной многопроцессорной обработкой (Symmetric Multiprocessing, SMP), то настройка ее рабочих характеристик должна позволить продержаться на требуемом уровне производительности по крайней мере в течение определенного времени.

Этот краткий очерк имеющихся решений показывает, что, несмотря на наличие лишь небольшого числа полных решений, какие-то варианты всегда можно найти. Но, даже если искомое решение отсутствует на сегодняшний день, оно может вскоре появиться. Так что если вы серьезно заинтересованы в кластерных решениях, то не стоит ждать, пока соответствующие продукты появятся в продаже — начинать планировать отвечающую вашим требованиям реализацию надо прямо сейчас.

Имеющиеся решения имеют потенциальные ограничения, особенности в мире Intel. Поддержка Cluster Server Phase I только двух узлов является характерным примером того, какой длинный путь еще предстоит проделать этой технологии.

Джефф Силва, менеджер по маркетингу кластерных продуктов в Compaq, предсказывает, что "в мире Novell/Windows NT никаких других вариантов помимо среды из двух узлов с подменой одного другим мы иметь не будем, по крайней мере в ближайший год". Так, NT Cluster-in-a-Box компании Data General представляет собой преконфигурированную кластерную систему из двух ПК-серверов AViiON на базе Microsoft Cluster Server. (Другие прогнозы относительно эволюции рынка кластерных продуктов для Windows NT смотри на Рисунке 1.)

С другой стороны, кластеризация на базе UNIX не получила широкого распространения в сетевом мире. Но с увеличением числа предлагаемых вариантов преобладание вертикальных рынков с системами старшего класса должно стать менее выраженным по мере того, как самые разные организации станут постепенно внедрять эту технологию.

После выбора кластерного решения, отвечающего вашим требованиям, следующий шаг состоит в обеспечении правильности реализации. Несмотря на то что эта задача вряд ли добавит энтузиазма в отношении кластеризации, особенно небольшим организациям, все совсем не так мрачно. "Что раньше внедрялось только крупными организациями, теперь реализуется малыми и средними компаниями", — утверждает Кэрол Карсон, руководитель программы в области кластеризации в IBM. Такого рода картина выглядит противоречиво: небольшие компании получают доступ к кластерным технологиям, ранее бывшим вне их досягаемости, но они не обладают достаточной информацией и опытом, на которые могли бы опираться при их реализации.

При реализации кластерного решения первое, чем вы должны заняться, — планированием сети для обеспечения доступности ее ресурсов. Это означает пристальное внимание ко всем возможным сторонам проекта, вне зависимости от его масштаба. Не менее важным является и выбор такой архитектуры, применение которой позволило бы в дальнейшем с ростом нагрузки вносить необходимые изменения.

Вы должны также очертить круг приложений для кластеризации и четко определить налагаемые ими требования к таким элементам сети, как серверы, процессоры и память. Получение достоверных оценок размера дискового пространства, мощности ЦПУ и пропускной способности сетевых плат/системных шин не менее важно. Кроме того, все компоненты, например шины SCSI, должны быть правильно сконфигурированы. (Дополнительную информацию об оптимизации компонентов межсоединения смотри во врезке "Влияние компонентов межсоединения".)

Что касается программной стороны кластеризации, то процедура реализации может оказаться хитрее, чем это кажется на первый взгляд. В частности, копии промежуточного программного обеспечения должны быть совместимы друг с другом и выглядеть как одно целое для других приложений.

Как упоминалось ранее, приложения должны иметь достаточные возможности для того, чтобы воспользоваться преимуществами кластерной технологии. Так, многие приложения, в том числе от Oracle, IBM и Informix, могут воспользоваться в целях повышения производительности несколькими процессорами Intel на одном сервере, но многие другие подобной возможности не имеют.

Применение кластерных технологий бессмысленно при отсутствии знающих о кластере приложений. Этот вопрос должен решаться разработчиками приложения посредством включения в него поддержки кластера; без такой встроенной возможности ее придется добавлять иным образом.

Марк Хассал, менеджер по маркетингу Windows NT Server, подчеркивает важность API и других инструментов для создания приложений для работы в кластере. По словам Хассала, Microsoft планирует расширить возможности имеющихся API, например для автоматизации некоторых задач администрирования кластера.

При отсутствии приложений для работы в кластере и API для их создания вы будете предоставлены сами себе. Это задача не для малоопытных — к ней надо подходить с осторожностью. Вам не только придется заниматься достаточно сложным программированием, но и разбираться в весьма непростых процедурах инсталляции кластерного программного обеспечения.

При оценке промежуточного программного обеспечения особого внимания заслуживает поддержка распределения нагрузки. В идеале такие задачи, как запросы к базе данных, должны реализовываться так, чтобы их выполнение распределялось между несколькими серверами в кластере. Кроме того, выполняемые на совместно используемых устройствах приложения должны быть тщательным образом организованы во избежание потенциальных проблем с производительностью, а также потенциального прерывания работы приложения.

Джим Гарден, директор технической службы в Technology Business Research, подчеркивает важность инструментов управления распределением нагрузки, а также планирования и резервирования ресурсов. "Оператор должен иметь инструментарий, с помощью которого он мог бы перевести задачи с одного процессора на другой, чтобы первый процессор мог быть разгружен, например, для его сервисного обслуживания", — поясняет он свою мысль.

Гарден также указывает на необходимость для кластеризации разделяемой файловой системы. "Системы хранения должны рассматриваться как глобальный ресурс, а не быть привязаны к конкретным процессорам, — утверждает Гарден. — Такая конфигурация снимает ограничение на типы приложений, которые процессор может выполнять".

Последнее соображение, которое вы должны держать в уме относительно аппаратных и программных средств, — это вопрос совместимости. Прежде чем развертывать кластеризацию в вашей сети, все системы следует подвергнуть тестированию еще до того, как вы утвердите сетевую конфигурацию. Если и существует хорошее время для выявления проблем, то уж точно не после того, как конфигурация была реализована в железе.

Одна из отраслей, где кластеризация завоевала себе место под солнцем, — это финансовые/банковские институты. Имея дело с огромными массивами информации, эти учреждения постоянно ищут способы поддержки гаргантюанских баз данных помимо обслуживания более приземленных операций типа сервиса файлов и печати.

Группа рынка капиталов в First Uniton National Bank занялась недавно решением последней задачи, она приобрела Cluster Server компании Microsoft для кластеризации печати в головном офисе, а также организации четырех удаленных кластеров для файлов/Microsoft Exchange в филиалах. Предоставляемые группой услуги включают инвестиционную деятельность, управление рисками, лизинг, финансирование покупок недвижимости и т. п.

Каждый кластер способен поддерживать только два сервера — в соответствии с текущим ограничением для Cluster Server компании Microsoft. Эти кластеры обслуживают от 500 до 2000 пользователей. Вся текущая печать в шарлоттском отделении осуществляется через кластер печати.

Другая область, где кластеризация доказала свою полезность, — это отказоустойчивость. Часть бизнеса группы связана с Уолл-стрит. "Работа в торговом зале не должна останавливаться ни на минуту, — говорит Сушил Виас, вице-президент по ИТ. — Когда мы решили перевести рабочие станции и файловые системы в торговом зале с NetWare на Windows NT, то стали искать отказоустойчивые решения для Windows NT". Виас говорит, что после рассмотрения нескольких вариантов компания остановилась на Cluster Server.

Группа рынков капитала применяет две основные аппаратные конфигурации: одна — на базе разделяемого интерфейса SCSI, а другая — на базе Fibre Channel. Разделяемая SCSI-система использует серверы Digital Storage Works и Digital Intel. Вторая конфигурация состоит из серверов Compaq ProLiant и систем хранения Fibre Channel.

По словам Виаса, внедрение кластеризации не обошлось без проблем. "Microsoft сертифицировала не так много кластерных конфигураций, — говорит Виас. — Мы должны были работать с сертифицированной конфигурацией, иначе Microsoft не стала бы ее поддерживать".

Технические специалисты группы вынуждены были произвести некоторую доводку, например настройку рабочих параметров, но в целом, по мнению Виаса, реализация стоила потраченных на нее усилий. Группа рынка капитала планирует внедрить еще семь или восемь кластерных конфигураций в ближайшем будущем и реализовать SQL на кластерах. (Пример применения кластерной технологии другим заказчиком можно найти во врезке "Провайдер Internet обращается к IBM для кластеризации соединений".)

Оценить, в какой мере кластерная технология способна решить ваши проблемы с пропускной способностью, не так-то просто. Ответ отчасти зависит от того, чем вызвана нехватка пропускной способности.

Современное состояние кластеризации делает ее хорошим кандидатом на попадание в список очередных дел, но в то же время вряд ли многие сетевые администраторы займутся ею в ближайшие недели или месяцы.

Многообещающие разработки появляются тем временем на горизонте. Достижения в области технологии Fibre Channel, например, должны, как ожидается, увеличить максимально допустимые расстояния между узлами в кластере. Цена требуемых для реализации кластерных технологий компонентов должна снизиться, а доступность практичных кластерных решений — наоборот, возрасти.

Наконец, масштабируемость будет повышаться по мере того, как производители станут внедрять в свои продукты необходимые возможности для ее поддержки. Хассал из Microsoft говорит, что SQL Server будет усовершенствован для оптимизации деления базы данных и распределения этих разделов между несколькими узлами в кластере.

Вывод же из всего вышесказанного следующий — даже если кластеризация не нужна вам сегодня, то она может пригодиться завтра. Реализация кластеризации — это не то, что можно сделать за ночь. Если вы считаете, что она может оказаться жизнеспособным решением для вашей сети в ближайшем будущем, то сейчас самое время присмотреться к данной технологии поближе.

По иронии судьбы, та самая проблема, которую вы пытаетесь решить посредством реализации кластерной технологии, может возникнуть внутри самого кластера. Так, функционирование кластера может остановиться из-за переполнения данными. Чтобы справиться с возложенными на них функциями, кластерные системы должны выполнять сложные наборы команд, но при этом сообщения не могут оставаться на виртуальной парковке, пока ЦПУ пытается решить задачи ввода-вывода, превосходящие его возможности.

Перегрузка может возникнуть в кластере во многих местах, в том числе на уровне системной памяти и дискового массива. Именно по этой причине такие компоненты, как приложения для баз данных, следует тщательным образом оценить с точки зрения их требований к системам подобного типа.

В отличие от симметричной многопроцессорной обработки, при которой ЦПУ разделяют внутреннюю шину памяти, а также шину подсистемы хранения, совместное использование данных с помощью кластеризации требует наличия интерфейса к разделяемым дискам или высокоскоростного интерфейса межсоединения.

Рекламируемые как готовые для работы в кластере серверы часто имеют различные архитектуры, когда дело доходит до межсоединений через PCI. В частности, они имеют разное число слотов PCI. Еще более усложняет дело то, что некоторые сценарии предусматривают подключение одной шины PCI к другой.

Потенциально производительность можно иногда повысить за счет использования нескольких хост-адаптеров SCSI. Очевидный путь применения более быстрых драйверов также может помочь в некоторых случаях, хотя мы рекомендуем предварительно подсчитать, в какой мере достигнутое таким образом повышение производительности себя окупит.

Другая потенциальная закавыка состоит в том, что многие интерфейсы SCSI поддерживают ограниченное число дисков. Однако более мощные интерфейсы, такие, как адаптеры SCSI-3 и Fibre Channel, способны помочь ликвидировать этот разрыв в производительности.

ISP Cybergate (подразделение e.Spire Communications) имеет 40 000 подписчиков с доступом в Internet по коммутируемым линиям, преимущественно в юго-восточной части Соединенных Штатов. Компания, информационное наполнение на серверах которой размещает свыше 18 000 клиентов, использует главным образом системы IBM RS/6000.

В этом году Cybergate реализовала технологию High-Availability Cluster Multi-Processing (HACMP) на своих серверах электронной почты и файлов RS/6000 и для размещения информационного наполнения 14 000 малых и средних компаний на своем узле. Один кластер обслуживает все 40 000 почтовых клиентов Cybergate.

Реализация HACMP базируется на RS/6000 HA50 High-Availability Cluster Server компании IBM, предназначенном для малых и средних компаний.

По словам Джона Энрайта, директора по технологиям в Cybergate, данная конкретная конфигурация хорошо подходит для обслуживания больших объемов стабильного трафика, который требуется распределять между получателями и который достаточно важен, чтобы оправдать избыточность.

Энрайт считает, что IBM объединила все необходимые кластерные элементы в одной коробке. Распределение нагрузки предусмотрено снаружи (массив серверов), а подмена одной системы другой — внутри.

По мнению Энрайта, одним из основных преимуществ системы является то, что "в некоторых отношениях она управляет собой сама. Она делает то, что системный администратор вынужден обычно делать вручную, т. е. управляет нагрузкой и распределением и вмешивается, когда что-то идет не так".

Энрайт заявляет, что Cybergate планирует открыть кластеризацию для прямого использования своими клиентами. "Пока мы, главным образом, используем ее для своих собственных целей, но кластеризация находится вне пределов досягаемости большинства небольших и средних компаний, — рассказывает он. — Мы хотим позволить нескольким клиентам совместно эксплуатировать один и тот же кластер и воспользоваться преимуществами избыточности, не беря на себя все затраты".

Информацию об Virtual Interface Architecture (VIA) см. на http://www.viarch.org/ .

Описание технологии Sun Clusters компании Sun Microsystems см. на http://www.sun.com/software/white-paper/wp-sunclusters/ .

Отчет под заглавием "Межсоединение кластерных и высокопроизводительных систем архитектуры Intel, 1995—2001 гг.", составленный Дэвидом Флойером, IDC, см. на http://www.idc.com/ .

Документацию по кластеризации серверов Web с одним IP-адресом см. на http://www.research.att.com/~ymwang/papers/HTML/ONE-IP/S.html .

Описание кластерной архитектуры Microsoft и планируемых разработок см. на http://www.microsoft.com/NTServerEnterprise/Basics/Features/Clustering/ClustArchit.asp/ .