Win-кластер презентация

Простейший HPC кластер может состоять из головного узла и 2-х вычислительных узлов.

Головной узел может быть создан с помощью Microsoft HPC Pack 2008 R2 на любой из следующих 64-разрядных ОС (не Itanium):
Windows Server 2008 R2 HPC Edition
Windows Server 2008 R2 Standard
Windows Server 2008 R2 Enterprise
Windows Server 2008 R2 Datacenter
HPC Pack это дополнительное программное обеспечение, предоставляющее управление HPC кластером.
Вычислительные узлы могут быть созданы на любой из следующих 64-разрядных ОС (не Itanium):
Windows Server 2008 R2 HPC Edition или Windows Server 2008 HPC Edition
Windows Server 2008 R2 Standard или Windows Server 2008 Standard
Windows Server 2008 R2 Enterprise или Windows Server 2008 Enterprise
Windows Server 2008 R2 Datacenter или Windows Server 2008 Datacenter

И наконец, HPC Cluster Manager предстает в своем обычном виде. В работе этого мастера представлены следующие закладки
Configuration – Конфигурация кластера (настройки образов, сети и пр.)
Node Management – Управление нодами.
Job Management – Управление очередью работ.
Diagnostics - Диагностика
Charts & Reports – графики и отчеты.
Каждой вкладке соответствует свой набор диалогов, так например для вкладки Configuration существенен следующий набор
To Do List – представленный выше список действий по стартовой настройке конфигурации кластерной сети.
Network - сеть
Node Templates – образцы образов развертки
Images
Job Templates – образцы заданий
Users – пользователи кластера

Установка обновлений и дополнительного ПО
Через AD
Подготовить шаблон типа для узла с установленной ОС
Создать задачу
Через запуск команды (+копирование)
Вручную

Microsoft HPC Pack 2008 R2 Enterprise
Включает кроме стандартного функционала HPC Pack 2008 R2 Express
Возможность включать рабочие станции в состав кластера
Возможность выполнять вычисления из Excel 2010 на кластере
позволяет использовать средства Azure
«библиотека» Cloud Numerics

Организации, использующие рабочие станции в качестве вычислительных узлов, могут использовать вычислительную мощность простаивающих в нерабочее время ПК с Windows 7 или сформировать вычислительное облако, предоставляющее дополнительную мощность для кластера серверов Windows HPC Server. Клиентские компьютеры, на которых могут быть запущены вычислительные узлы (workstation nodes) с помощью Microsoft HPC Pack 2008 R2 for Workstation, должны работать на любой из следующих (x86 или x64) ОС:
Windows 7 Professional
Windows 7 Enterprise
Windows 7 Ultimate

HPC Pack 2008 R2 Tool Pack
Lizard - вариант теста Linpack от MS
ClusterCopy - утилита для копирования файлов на узлы кластера
Node XML Editor - Node XML Editor Excel file – шаблон для создания и редактирования XML описаний узлов кластера для развертывания на них ПО
Network Troubleshooting Report - тесты сети кластера
GangliaIntegration
HPCPreInstall – для подготовки узлов к установке HPC Pack

HPC Pack 2008 SharePoint Integration Sample

Клиентские компьютеры, с которых пользователи могут управлять консолями администрирования и управления заданиями, должны работать под следующими операционными системами:
Windows 7 Professional, Enterprise, Ultimate (x86 или x64)
Windows Vista Enterprise, Business, Home, Ultimate
Windows XP Professional с Service Pack 3 или старше (x86 или x64)
Windows Server 2008 R2 Standard, Enterprise, Windows Server 2008 R2 HPC Edition (x86 или x64)
Windows Server 2008 Standard, Enterprise, Windows Server 2008 HPC Edition (x86 или x64)
Windows Server 2003 R2 Standard Edition, Enterprise Edition (x86 или x64)
Windows Server 2003 Compute Cluster Edition, Windows Server 2003 Standard Edition, Enterprise Edition с Service Pack 2 или старше (x86 или x64)

SDK
Примеры
средства для разработки драйверов NetworkDirect
HPC Pack 2008 R2 MS-MPI redistributable installer
MPITemplate – шаблон для VS проектов для кластера

Файлы, требующиеся для выполнения задания, должны размещаться на носителях, доступных всем узлам.
Отправить задачу через оболочку
Использовать интерфейс на основе веб-частей Sharepoint
Командлеты Powershell
Файлы, требующиеся для выполнения задания, должны размещаться на носителях, доступных всем узлам.

ПРОБЛЕМА
Блокировка файлов – задача висит «в стартинге»

На компьютере разработчика должна быть установлена среда Visual Studio 2010 Professional Edition или более высокой версии с удаленным отладчиком.
У пользователя должны быть права администратора кластера.
У Visual Studio должен быть доступ ко всем вычислительным узлам, на которых предполагается запускать сеансы отладки. Необходимый доступ обеспечивают сценарии, указанные ниже.
Приложение разрабатывается на головном узле кластера или на выделенном узле входа.
Используется кластер, в котором вычислительные узлы подключены к корпоративной сети (топология 2, 4 или 5), а компьютер разработчика присоединен к тому же домену или к домену, для которого настроены отношения доверия с доменом кластера.
Для отправки приложения в кластер HPC с клиентского компьютера необходимо установить пакет Microsoft HPC Pack 2008.
Для построения MPI-программ с использованием интерфейса передачи сообщений корпорации Майкрософт необходимо, чтобы на компьютере разработчика был установлен пакет Windows HPC Server 2008 SDK.
Требования для использования отладчика MPI-кластера

Cloud Numerics

A numerical library with over 400 functions covering mathematics, statistics, linear algebra, and more.
The "Cloud Numerics" Visual Studio project gives instant access to distributed data structures and numerical functions.
Develop and debug on your desktop then deploy to Windows Azure with a couple of simple steps.

The project template and sample program have the following operating system and software prerequisites:
Windows 7 or Windows Server 2008 R2 SP1, 32 or 64-bit
Visual Studio 2010 Professional or Ultimate Edition with SP1 with Visual C++ components installed*
SQL Server 2008 R2 Express or higher
Windows Azure SDK v1.6 and Windows Azure Tools for Visual Studio, November 2011 or later edition
A Windows Azure subscription for deploying projects from local, debugging mode to Windows Azure.
If any of the following obsolete components are present, installation will appear to succeed but you probably won’t be able to open a new “Cloud Numerics” project:
Microsoft HPC Pack 2008 R2 Azure Edition
Microsoft HPC Pack 2008 R2 Client Components
Microsoft HPC Pack 2008 R2 MS-MPI Redistributable Pack
Microsoft HPC Pack 2008 R2 SDK
Windows Azure SDK v1.5
Windows Azure AppFabric v1.5
Windows Azure Tools for Microsoft VS2010 1.5

Архитектура Windows HPC

Архитектура Windows HPC

Основа кластера:
Минимальный набор средств для запуска кластерных приложений

Сервис-ориентированный кластер
Строится на основе кластера с добавлением broker-узлов, необходимых для управления и выполнения SOA приложений

Высоконадежный кластер
Включает в себя избыточные(вспомогательные) управляющий и broker-узлы, благодаря чему приложения являются устойчивыми к отказу этих критически важных серверов

Кластер рабочих станций
Позволяет использовать рабочие станции под управлением Windows 7 как вычислительные узлы кластера во время простоя

Решения Microsoft для вузов и прикладной науки
Наши победы. СКИФ-Урал, Linpack
Mellanox WinIB-ND 1.4.0b
Латентность: 2.9 / 5.6 μsec
Throughput: 931 Мб/сек
Классическая кластерная инфраструктура: публичная, приватная и MPI-сети

Решения Microsoft для вузов и прикладной науки
Некоторые российские вузы/институты, разместившие заказы на кластерную ОС
МИЭТ
Белгородский ГУ
МИФИ
Пермский ГТУ
ЮрГУ
ИКИ РАН
МФТИ
ИБХ РАН
Санкт-Петербургский ГПУ
МГУ
Ульяновский ГТУ
Новосибирский ГУ
Волгоградский ГТУ
РосНОУ
Иркутский ТУ, …