Введение в Windows Compute Cluster Server

Высокопроизводительные вычисления
(High Performance Computing, HPC) — это раздел прикладной
информатики, занимающийся в главном поиском путей решения задач,
требующих огромного количества вычислительных ресурсов. Пару лет
вспять для решения задач HPC в главном использовались

большие спец (и
дорогие) системы, так именуемые супер-ЭВМ, которые можно было
узреть сначала в исследовательских центрах. С увеличением
вычислительной мощности малых систем изменялось соотношение издержки –
производительность, и баланс объемов вычислительных задач равномерно
сместился в сторону систем ПК-класса.

Многие задачки, требующие значимых
вычислительных ресурсов, можно решить способом параллельных
вычислений — это способ, при котором хоть какой раздельно взятый
процесс производится независимо от результатов выполнения других
процессов. В таком случае для решения сложных задач можно
пользоваться несколькими относительно маленькими системами
(узлами), сгруппированными в вычислительные кластеры. Вот только
несколько примером приложений, пользующихся преимуществами
вычислительных кластеров:

Денежные модели — один и тот же метод либо формула
может употребляться тыщи раз попорядку, всякий раз с новыми
входными данными.
Проектирование — имитирующие эффекты в отдельных деталях,
применение текстур к моделям.
Компьютерная анимация — применение текстур и эффектов
освещения к каждому кадру мульта.

Вычислительные кластеры позволяют стремительно и с
относительно маленькими затратами решать всеохватывающие задачки. В этой
статье мы разглядим главные способности кластеров, работающих под
управлением системы Windows® Compute
Cluster Server 2003.

Принципиально различать вычислительные кластеры и
отказоустойчивые кластеры (обеспечивающие соответствующую доступность
систем). Вам, может быть, доводилось работать с отказоустойчивыми
кластерами для Exchange, SQL Server® либо
других приложений в системе Windows Server® 2003. Для увеличения доступности приложения
они обычно они употребляют общее хранилище. Предназначение же
вычислительного кластера состоит не в том, чтоб взять на себя
работу другой системы в случае сбоя, а в том, чтоб обеспечить
скоординированное функционирование всех узлов.

Общие требования к вычислительным
кластерам

Современные системы HPC имеют некие общие
главные элементы, которые упрощают обработку заданий. Они
объединяют внутри себя несколько систем. Для координирования заданий,
выполняемых на различных узлах, употребляется планировщик. Он работает
на ответственном (головном) узле. Планировщик выявляет доступные
ресурсы, назначает и распределяет задания, выслеживает общее
состояние выполнения заданий. Это координатор ресурсов в границах
кластера систем и сразу точка, в какой админы и
юзеры посылают задания на обработку.

Для работы кластера нужен метод обмена
информацией меж узлами. В неких случаях (зависимо от типа
операций) меж узлами должны существовать высокоскоростные каналы
связи с низкими значениями задержки — узлы употребляют их для
обмена сообщениями и координации обработки. Как минимуму каждый
вычислительный узел и головной узел должен быть подключен к общей
сети.

Связанные вместе системы, вместе
решающие сложные всеохватывающие задачки, требуют достаточно огромного
внимания и подабающего ухода. Для обеспечения ресурсами, мониторинга,
управления и обслуживания сотен, а время от времени и тыщ систем требуются
особые процедуры и средства — они должны обеспечить
согласованность и стабильность работы среды.

В конце концов, и это, пожалуй, самое принципиальное, нужно
обеспечить доступность приложений, способных использовать
способности параллельной обработки, предоставляемые вычислительными
кластерами. Если не будет приложений, разбивающих задания на
отдельные процессы в целях их подготовки к параллельной обработке,
если не будет средств разработки, обеспечивающих в том числе и
«параллельную отладку», кластер можно будет использовать разве что
для подогрева.

Кластеры
на базе Windows Server

В 2006 году компания Майкрософт выпустила
системы Windows Server 2003 Compute Cluster Edition (CCE) и Windows
Compute Cluster Server 2003 (WCCS), призванные обеспечить выполнение
требований широкого ряда HPC-приложений. Системы CCE и WCCS
построены на базе одной и той же системы Windows Server 2003, с
которой вы уже знакомы. CCE — это версия Windows Server 2003,
лицензированная для внедрения в системах HPC. WCCS отличается от
CCE только наличием пакета Microsoft®
Compute Cluster Pack (CCP). Это значит, что для развертывания,
управления, мониторинга и обслуживания кластера на базе Windows
Server можно использовать те же средства, что употребляются для
выполнения подобных задач в системах Windows Server 2003.

Принципиально отметить, что системы CCE и WCCS выпущены
исключительно в виде 64-разрядных версий — 32-разрядных версий (x86)
этих товаров нет. Требования к оборудованию для CCE и WCCS
совпадают с требованиями для 64-разрядной версии Windows Server 2003
Standard. Для обеспечения работы высокопроизводительного
оборудования (64-разрядной архитектуры) эти системы дополнительно
включают поддержку RDMA для скоростных подключений (Gigabit
Ethernet, InfiniBand, Myrinet и др.)

Пакет Compute Cluster Pack

Как было упомянуто ранее, вычислительные кластеры
предъявляют ряд базисных требования, которые производятся методом
установки пакета Compute Cluster Pack. CCP — это
самостоятельный установочный пакет, включающий в себя последующие
составляющие:

интегрированный планировщик заданий;
поддержку интерфейса MPI для отраслевого эталона MPICH2;
инструменты юзера и средства регулирования ресурсами
кластера.

Наличие пакета CCP — главное отличие систем
CCE и WCCS. Появляется вопрос: почему пакет включен исключительно в WCCS,
если он содержит средства, нужные для работы кластера. Дело в
том, что в неких HPC-решениях употребляются другие планировщики
заданий либо особые MPI-интерфейсы (а в неких случаях
поддержка MPI совсем не требуется). Для реализации таких решений
нужна только опорная платформа — а конкретно Windows Server
2003. А так как CCP представляет собой совсем самостоятельный
пакет, его можно установить на хоть какой 64-разрядной версии Windows
Server 2003 (CCE, Standard, Standard R2, Enterprise и Enterprise
R2).

Составляющие
системы

Система WCCS употребляет главные функции Windows,
в том числе службу каталогов Active Directory® и службы RIS, упрощая тем управление и
эксплуатацию кластеров на базе Windows. В системе Compute Cluster
Server служба каталогов Active Directory употребляется для
прозрачного управления безопасностью. Служба каталогов позволяет
юзеру отправлять задания на головной узел (при всем этом он
употребляет единый набор учетных данных), а позже эти задания
распределяются по соткам узлов сервера. При выполнении задания на
одном либо нескольких вычислительных узлах употребляются учетные
данные юзера, предоставленные при отправке задания: они
накрепко кэшируются после передачи. В WCCS служба Active Directory
выступает в роли таковой «единой точки входа». Очередное преимущество
наличия службы Active Directory в рабочей среде — это
возможность централизованного управления сервером и политиками
опции через групповую политику.

Если в вашей ИТ-организации служба Active
Directory уже развернута, вы можете сберечь много времени и
сил, если будете строить кластер на базе уже имеющегося домена.
Таковой вариант предпочтителен.

Если вычислительный кластер нужно развернуть
в среде, где службы Active Directory нет, рекомендуется развернуть
один либо несколько выделенных контроллеров домена, на которых вы
разместите службу каталогов Active Directory для кластера. Часто в
качестве головного узла выбирается тот контроллер домена, на котором
расположена служба Active Directory, так как в таком варианте все
узлы связаны сетью с системой — независимо от топологии сети.
Но в крупномасштабных кластерах использовать контроллер домена в
качестве головного узла не рекомендуется — из-за очень
высочайшей нагрузки на головной узел. При развертывании и управлении
службой Active Directory следует также делать принятые
процедуры: устанавливать запасные контроллеры домена, проводить
соответствующее запасное копирование, обеспечивать безопасность и
т. д.

Службы
удаленной установки

Система WCCS предоставляет интегрированный интерфейс
для платформы развертывания образов Microsoft Remote Installation
Service. Служба RIS применяется для развертывания образов
операционных систем с головного узла на вычислительные узлы, ускоряя
тем установку нового кластера. Раздельно ее использовать не
приходится: служба RIS для удобства работы встроена в систему WCCS.
Вы сможете также использовать и другие всераспространенные технологии
развертывания систем Windows Server, в том числе службы
автоматического развертывания Windows Server 2003 (ADS), а сможете
устанавливать Windows Server 2003 вручную.

Если вы решили использовать службу RIS, перед
установкой системы CCP на головной узел удостоверьтесь в том, что вы
обусловили как минимум два логических диска. Служба RIS просит
наличия диска, отделенного от операционной системы, — для
хранения образов сервера. Раздел, отведенный RIS, должен быть
довольно огромным, чтоб вместить один либо несколько полных образов
системы Windows Server.

Для нового серверного оборудования, в особенности
для сетевых устройств и хранилищ, могут пригодиться драйверы Plug
and Play, не включенные в стандартный образ Windows Server 2003. Их
придется добавить в образ вручную. Эта процедура описана в статье по
адресу support.microsoft.com/kb/254078.

Установка кластера

1-ый шаг в процедуре опции нервной системы
кластера — создание головного узла. Начните с установки одной
из 64-разрядных версий Windows Server 2003, упомянутых выше. Во
время установки вам будет предложено присоединить сервер к
существующему домену (рекомендуется это сделать) и установить службу
Active Directory на сервере (не рекомендуется для крупномасштабных
кластеров).

После установки операционной системы непременно
загрузите и установите все рекомендованные исправления из центра
обновления Майкрософт. Если вы планируете использовать службу RIS
для работы с видами вычислительных узлов, вы должны
пользоваться служебной программкой «Управление дисками» (в разделе
«Управление компьютером») и убедиться в наличии хотя бы 2-ух
логических дисков. В целях экономии места установку с внедрением
RIS мы рассматривать не будем.

После того как вы удачно вошли в систему и
обновили сервер, вы запускаете программку установки CCP. Программка
или установит сама, или поможет вам загрузить и установить
последующие файлы и обновления:

исправление для RIS (см. go.microsoft.com/fwlink/?linkid=55167);
консоль MMC 3.0 (см. go.microsoft.com/fwlink/?linkid=62400);
SQL Server Desktop Edition — как часть процесса установки
головного узла Compute Cluster Server 2003;
Microsoft .NET Framework 2.0.

Программка установки CCP делает большую работу
по проверке готовности системы к установке. Она докладывает о том,
какие составляющие требуются, какие будут установлены в процессе работы
программки, и устанавливает их (см. рис.
1).

Введение в Windows Compute Cluster Server
Рис.
1 Составляющие, нужные для
установки CCP

Перечень
нужных действий

После окончания установки CCP раскроется консоль
админа и предъявит вам перечень нужных действий. Как
показано на рис. 2, перечень состоит из
нескольких панелей, любая из которых посвящена отдельной теме. В
этот перечень включены задания, которые нужно выполнить для
полной опции кластера.

Введение в Windows Compute Cluster Server
Рис.
2 Перечень заданий, которые
нужно выполнить для опции кластера

Перечень нужных действий помогает вам
выстроить намеченную архитектуру кластера, в том числе избрать и
настроить топологию сети, функцию установки узлов и модель
управления. Задания в каждой панели перечислены в правой части.
Каждое задание запускает собственный мастер. Чтоб стопроцентно настроить
головной узел, с которого будут развертываться образы вычислительных
узлов с помощью службы RIS, и который будет администрироваться и
использовать определенным набором юзеров, сделайте по
очереди все перечисленные задания.

Топология
сети WCCS поддерживает 5 более всераспространенных
топологий, используемых в системах HPC. По последней мере, все
вычислительные узлы и головной узел должны быть подключены к общей
сети. В топологиях поддерживаются разные виды подключений меж
узлами. Они различаются набором преимуществ и объемами издержек.

Выбор топологии сети находится в зависимости от требований
кластера к производительности, безопасности и развертыванию. Для
работы ваших приложений, например, может требоваться
скоростное подключение меж узлами для обмена сообщениями,
которые лучше не передавать через корпоративную сеть. Либо вы сможете
предпочесть пользоваться преимуществами интегрированных функций
автоматического развертывания на базе RIS. Либо ваше оборудование
допускает установку только одной сетевой платы. Либо вы желаете
установить на головном узле службу ICS, обеспечивающую управление
разрешением имен и адресации вычислительных узлов. Мастер опции
топологии сети кластера, вызываемый из перечня задач, предлагает вам
на выбор 5 топологий, обычно применяемых в реализациях систем
HPC, также помогает настроить сетевые подключения и брандмауэр
Windows на головном узле и на вычислительных узлах. Рис. 3 иллюстрирует одну из поддерживаемых
топологий сети.

Введение в Windows Compute Cluster Server
Рис.
3 Одна из топологий сети,
поддерживаемых WCCS

Службы
удаленной установки Как отмечалось выше, служба RIS
обеспечивает автоматическое развертывание узлов кластера.

Управление
узлами Вы сможете указать имена тех серверных машин,
которые будут выступать в роли вычислительных узлов кластера. При
запуске CCP на узле указывается головной узел кластера, к которому
необходимо присоединить настраиваемый узел.

Управление
юзерами Тут вы сможете указать учетные записи
юзеров либо группы в службе каталогов Active Directory,
которые будут делать функции сисадмина либо
юзеров кластера.

Установка узла

Вычислительные узлы можно развертывать
автоматом с помощью служебной программки RIS либо других
поддерживаемых способов. Так же как и на головном узле, на каждом
вычислительном узле нужно установить CCP. Как видно из рис. 4, характеристики опции CCP для
вычислительного узла еще проще. Настройка содержит в себе
последующие процессы:

Введение в Windows Compute Cluster Server
Рис.
4 Установка пакета Compute Cluster
Pack
Указать, что сервер будет выступать в роли вычислительного (а
не головного) узла.
Указать имя головного узла, к которому необходимо присоединить
настраиваемый сервер.
Указать, необходимо ли устанавливать инструменты юзера и
средства администрирования на данном вычислительном узле

Консоль
админа

После подключения всех вычислительных узлов к
головному большая часть задач по управлению и администрированию систем
производятся через консоль админа — она приведена на
рис. 5. Консоль дает информацию о всем
кластере: предоставляет перечень связанных узлов, дает доступ к
главным операциям по администрированию и иным элементам. В самой
левой панели находятся главные элементы, применяемые для
перемещения по консоли, в том числе тут можно получить доступ к
модулю «Администратор кластера», в каком содержится общая
информация о состоянии кластера и статистика по заданиям. Тут же
можно получить доступ к сеансам удаленного мониторинга компов и
системы в целом. Вобщем, основное время админ проводит в
модуле «Управление узлами».

Введение в Windows Compute Cluster Server
Рис.
5 Информация о кластере в консоли
админа

Консоль админа вы должны как надо
изучить, так как она дает доступ к главным средствам и функциям,
нужным для централизованного администрирования системы Windows
и вычислительных узлов. Если щелкнуть один раз узел кластера,
обозначенный в центральной панели, в других окнах появится
информация о избранном узле и вы можете ознакомиться с его
функциями.

Команды, включенные в контекстные меню, упрощают
централизованное администрирование вычислительных узлов. В модуле
«Управление узлами» вы сможете приостановить и запустить узел; утвердить
добавление узла и удалить узел из кластера; запустить удаленный
десктоп, системный монитор либо просмотр событий; извлечь лоток
компакт-диска (так очень комфортно отыскивать подходящую машину в большенном
кластере).

Функция
ClusRun

Самая, пожалуй, комфортная функция в этом
перечне — команда «Выполнить». Она дает возможность удаленно
запускать всякую произвольную команду, будто бы вы ее вводите в
командной строке соответственного компьютера. В WCCS имеется версия
этой функции для командной строчки — программка Clusrun.exe.
ClusRun именуется и графическая версия, и версия для командной
строчки.

Достоинства служебной программки ClusRun трудно
переоценить — в особенности если вы имеете дело с большенными
кластерами. Она позволяет здорово сберечь время при выполнении
циклических задач с применением командной строчки, также иногда
избавляет необходимость в более сложных сценариях
администрирования.

Чтоб открыть программку, выделите в перечне
компы, для которых вы желаете запустить ту либо иную команду,
щелкните правой кнопкой мыши и изберите команду «Выполнить».
Появится диалоговое окно, показанное на рис.
6. Сейчас вам необходимо просто ввести нужную команду,
запустить ее и дождаться возникновения выходных данных в окне
результатов. При первом запуске программка ClusRun попросит вас
указать учетные данные, и вы сможете их кэшировать для предстоящего
использования.

Введение в Windows Compute Cluster Server
Рис.
6 Пуск команды для нескольких
узлов

Для установки исправлений для кластеров либо
программ, предусматривающих возможность автоматической установки, из
обычно помещают в общий файловый ресурс, а позже с помощью
программки ClusRun запускается одна команда для всех вычислительных
узлов. Перезагрузить все вычислительные узла кластера можно одной
командой:

CLUSRUN SHUTDOWN –R –F –T 0

Пакет
инструментов

В мае 2007 группа HPC выпустила пакет Compute
Cluster Pack Tool Pack (его можно загрузить по адресу windowshpc.net/resources/Pages/default.aspx).
Этот пакет включает поддержку Windows PowerShellTM, средство MPIPingPong для диагностики
работоспособности подключений и простой, но очень нужный
графический монитор кластера.

Как видно из рис. 7,
монитор показывает в одном окне все узлы кластера, указывает число
ядер в каждом узле, загрузку каждого ЦП (ярко-зеленый индикатор),
внедрение памяти (желтоватый индикатор), процент активности диска
(красноватый индикатор) и загрузку пропускной полосы сети (оранжевый
индикатор). Это достаточно комфортное средство, позволяющее
админу получить общие сведения о работе кластера.

Введение в Windows Compute Cluster Server
Рис.
7 Контроль нескольких узлов в
мониторе кластера

Монитор кластера обладает свойством
«удаляемости». 1-ый экземпляр монитора должен быть запущен на
головном узле. После того как вы его запустили, вы сможете запустить
другой экземпляр монитора на рабочей станции, привязать его к
головному узлу и получить те же самые данные.

Так и чего вы ожидаете?

Сейчас вы вполне готовы к встрече с HPC и
Windows Server 2003 Compute Cluster Server. Вы понимаете, как
установить CCP, вы познакомились с центральной консолью
админа, вы получили в распоряжение новые команды и
графические средства, способные потрясти не только лишь юзеров, но
и ваших коллег. Дополнительные источники инфы по
высокопроизводительным вычислениям вы отыщите на врезке «Материалы
по HPC».

Аналогичный товар: Комментирование на данный момент запрещено, но Вы можете оставить ссылку на Ваш сайт.

Комментарии закрыты.