Без темы
<<  Высокопроизводительные вычисления Высоцкий Владимир Семенович  >>
Лекция № 5
Лекция № 5
По данным Марка Миллера (Mark Miller, Ford Motor Company), для
По данным Марка Миллера (Mark Miller, Ford Motor Company), для
В 1995 году корпус автомобиля Nissan Maxima удалось сделать на 10%
В 1995 году корпус автомобиля Nissan Maxima удалось сделать на 10%
Исследователи фирмы DuPont искали замену хлорофлюорокарбону
Исследователи фирмы DuPont искали замену хлорофлюорокарбону
Реализация
Реализация
Параллельная обработка
Параллельная обработка
Параллельные вычисления
Параллельные вычисления
Закон Амдала
Закон Амдала
Примеры задач
Примеры задач
Grid-системы
Grid-системы
Grid-системы
Grid-системы
Критика проектов распределенных вычислений
Критика проектов распределенных вычислений
Кластеры
Кластеры
Применение кластеров
Применение кластеров
Применение кластеров
Применение кластеров
Beowulf
Beowulf
Beowulf
Beowulf
Преимущества Beowulf-систем
Преимущества Beowulf-систем
Проблемы Beowulf 1
Проблемы Beowulf 1
Beowulf 2
Beowulf 2
Кластерное программное обеспечение
Кластерное программное обеспечение
Кластерное программное обеспечение
Кластерное программное обеспечение
Кластерное программное обеспечение
Кластерное программное обеспечение
Кластерное программное обеспечение
Кластерное программное обеспечение
Кластерное программное обеспечение
Кластерное программное обеспечение
Кластерное программное обеспечение
Кластерное программное обеспечение
Microsoft и HPC
Microsoft и HPC
Облако
Облако
IBM
IBM
Кластер под ключ
Кластер под ключ
“Университетский кластер” HP
“Университетский кластер” HP
Описание кластера
Описание кластера
Скиф
Скиф
СКИФ cyberia
СКИФ cyberia
Скиф мгу
Скиф мгу
Отказоустойчивые системы
Отказоустойчивые системы
Хранение данных
Хранение данных
На данный момент существует несколько проектов по ускорению работы
На данный момент существует несколько проектов по ускорению работы
Нужны ли вычислительные мощности в один экзафлоп
Нужны ли вычислительные мощности в один экзафлоп
Литература
Литература

Презентация на тему: «Высокопроизводительные вычисления». Автор: ifuser. Файл: «Высокопроизводительные вычисления.ppt». Размер zip-архива: 99 КБ.

Высокопроизводительные вычисления

содержание презентации «Высокопроизводительные вычисления.ppt»
СлайдТекст
1 Лекция № 5

Лекция № 5

Высокопроизводительные вычисления.

2 По данным Марка Миллера (Mark Miller, Ford Motor Company), для

По данным Марка Миллера (Mark Miller, Ford Motor Company), для

выполнения crash-тестов, при которых реальные автомобили разбиваются о бетонную стену с одновременным замером необходимых параметров, съемкой и последующей обработкой результатов, компании Форд понадобилось бы от 10 до 150 прототипов новых моделей при общих затратах от 4 до 60 миллионов долларов. Использование суперкомпьютеров позволило сократить число прототипов на одну треть.

3 В 1995 году корпус автомобиля Nissan Maxima удалось сделать на 10%

В 1995 году корпус автомобиля Nissan Maxima удалось сделать на 10%

прочнее благодаря использованию суперкомпьютера фирмы Cray (The Atlanta Journal, 28 мая, 1995г). С помощью него были найдены не только слабые точки кузова, но и наиболее эффективный способ их удаления.

4 Исследователи фирмы DuPont искали замену хлорофлюорокарбону

Исследователи фирмы DuPont искали замену хлорофлюорокарбону

Нужно было найти материал, имеющий те же положительные качества: невоспламеняемость, стойкость к коррозии и низкую токсичность, но без вредного воздействия на озоновый слой Земли. За одну неделю были проведены необходимые расчеты на суперкомпьютере с общими затратами около 5 тысяч долларов. По оценкам специалистов DuPont, использование традиционных экспериментальных методов исследований потребовало бы около трех месяцев и 50 тысяч долларов и это без учета времени, необходимого на синтез и очистку необходимого количества вещества.

5 Реализация

Реализация

В кластерной системе две части – программная (ОС и кластерное ПО) и аппаратная («железная» часть)

6 Параллельная обработка

Параллельная обработка

Если некое устройство выполняет одну операцию за единицу времени, то тысячу операций оно выполнит за тысячу единиц. Если предположить, что есть пять таких же независимых устройств, способных работать одновременно, то ту же тысячу операций система из пяти устройств может выполнить уже не за тысячу, а за двести единиц времени. Аналогично система из N устройств ту же работу выполнит за 1000/N единиц времени. Подобные аналогии можно найти и в жизни: если один солдат вскопает огород за 10 часов, то рота солдат из пятидесяти человек с такими же способностями, работая одновременно, справятся с той же работой за 12 минут - принцип параллельности в действии!

7 Параллельные вычисления

Параллельные вычисления

Параллельные вычислительные системы — это физические компьютерные, а также программные системы, реализующие тем или иным способом параллельную обработку данных на многих вычислительных узлах. Идея распараллеливания вычислений базируется на том, что большинство задач может быть разделено на набор меньших задач, которые могут быть решены одновременно.

8 Закон Амдала

Закон Амдала

Таблица показывает, во сколько раз быстрее выполнится программа с долей последовательных вычислений ? при использовании p процессоров. ?\p 10 100 1000 0 10 100 1000 10% 5.263 9.174 9.910 25% 3.077 3.883 3.988 40% 2.174 2.463 2.496

9 Примеры задач

Примеры задач

Нелинейный видеомонтаж Кодировка видео Компьютерные игры

10 Grid-системы

Grid-системы

GRID является географически распределённой инфраструктурой, объединяющей множество ресурсов разных типов (процессоры, долговременная и оперативная память, хранилища и базы данных, сети), доступ к которым пользователь может получить из любой точки, независимо от места их расположения.

11 Grid-системы

Grid-системы

Низкая доступность каждого узла, то есть невозможность гарантировать его работу в заданный момент времени (узлы подключаются и отключаются в процессе работы), поэтому задача должна быть разбита на ряд независимых друг от друга процессов. Такая система, в отличие от кластеров, не похожа на единый компьютер, а служит упрощённым средством распределения вычислений. Нестабильность конфигурации, в таком случае, компенсируется большим числом узлов.

12 Критика проектов распределенных вычислений

Критика проектов распределенных вычислений

Заявленные цели проекта не соответствуют реальным Научные достижения, полученные в ходе исследования, будут сначала рассмотрены и/или использованы с точки военного применения

13 Кластеры

Кластеры

Кластер (cluster) – это объединение между собой двух и более серверов в единую систему, которые функционируют как единое целое. Кластеры создаются для достижения высокой надежности хранения данных, обеспечения высокой доступности информационного сервиса, распределения нагрузки на сервисы.

14 Применение кластеров

Применение кластеров

Кластеры применяются для решения самых разных задач. Надежность и высокую готовность данных обеспечивает High-Availability Cluster system (HA-Cluster). Там, где необходимо обеспечить масштабируемость сервисов, например, в случае множество обслуживающих веб-сайт серверов, применяются Massive Parallel Processing Cluster (MPP-Clusters).

15 Применение кластеров

Применение кластеров

Для обеспечения высокой производительности вычислений используются High Performance Computing Clusters (HPC-Clusters). Также для обеспечения высокой доступности информационного сервиса и/или для распределения нагрузки на сервисы используется механизм Load Balancing

16 Beowulf

Beowulf

в 1994 году сотрудники NASA Дональд Беккер и Томас Стерлинг создали кластер Beowulf. Он состоял из 16 процессоров DX4, соединенных 10-мегабитной сетью Ethernet. Персональные компьютеры Linux Ethernet, InfiniBand, Myrinet

17 Beowulf

Beowulf

Собранный из 1100 обычных "макинтошей" самодельный кластер, обошедшийся организаторам всего в 5,2 млн. долларов и умудрившийся занять в 2003 году третье место в рейтинге Top 500

18 Преимущества Beowulf-систем

Преимущества Beowulf-систем

Стоимость системы гораздо ниже стоимости суперкомпьютера; возможность увеличения производительности системы; возможность использования устаревших компьютеров, тем самым увеличивается срок эксплуатации компьютеров; широкая распространённость, а значит и доступность, аппаратного обеспечения.

19 Проблемы Beowulf 1

Проблемы Beowulf 1

Источником успеха первого поколения кластеров Beowulf являлась простота их инфраструктуры, она же послужила стала причиной сложностей на следующем этапе. Ничто не дается даром. Оставив за компьютерами только «голую» вычислительную начинку, кластеры Beowulf первого поколения потребовали взамен больших затрат труда на установку, конфигурирование и эксплуатацию, они сложны в администрировании и модернизации, допускают только статическое масштабирование.

20 Beowulf 2

Beowulf 2

При создании своих кластеров Беккер руководствовался тремя основными принципами. Вычислительные узлы кластера должны быть бездисковыми, не иметь и не сохранять свое собственное состояние. На узлах кластера развертывается облегченная операционная среда. Виртуализация распространяется на весь кластер.

21 Кластерное программное обеспечение

Кластерное программное обеспечение

Итогом эволюционного процесса стала новая категория программного обеспечения, получившая название cluster middleware. Речь идет о наборе средств, осуществляющем представление совокупности кластерных ресурсов в образе единой машины. Перечислим его типовые компоненты.

22 Кластерное программное обеспечение

Кластерное программное обеспечение

Система управления потоком работ (Job Management System, JMS). Отвечает за расписание и диспетчеризацию работ, предоставляет средства для описания работ, мониторинга их прохождения и для получения результатов. Администратор использует эту систему для определения правил, которыми руководствуются пользователи, в части распределения, ограничения и резервирования ресурсов. Ее средствами можно собирать статистику нагрузки, с тем чтобы оценивать загруженность кластера.

23 Кластерное программное обеспечение

Кластерное программное обеспечение

Система мониторинга кластера (Cluster Monitoring System, CMS). Служит для сбора технических данных, таких как загруженность процессоров, объем занятой памяти, наличие свободного дискового пространства. Эти сведения администратор кластера использует для обнаружения потенциальных проблем и оптимизации его работы, а обычные пользователи?— для отладки своих заданий. Кроме того, они передаются в JMS для поддержки расписания работ.

24 Кластерное программное обеспечение

Кластерное программное обеспечение

Библиотеки для параллельной работы. Предоставляют разработчикам приложений средства распараллеливания заданий и синхронизации в процессе их исполнения (чаще всего это те или иные варианты MPI или PVM). Также могут быть использованы различные языки параллельного программирования.

25 Кластерное программное обеспечение

Кластерное программное обеспечение

Средства для управления кластером. Область действия системы управления распространяется на весь кластер; ее основная функция?— поддержка процессов установки программного обеспечения в узлах кластера, она же служит для обнаружения ошибок в его работе и для изменения его конфигурации.

26 Кластерное программное обеспечение

Кластерное программное обеспечение

Глобальное пространство процесса. Набор перечисленных компонентов по аналогии с операционными системами называют «кластерными дистрибутивами» (cluster distribution). В число наиболее распространенных дистрибутивов входят Rocks, OSCAR, OpenSCE, Scyld Beowulf, Clustermatic, Warewulf, xCAT и Score. Все они построены на основе ОС Linux.вязывает воедино все узлы кластера.

27 Microsoft и HPC

Microsoft и HPC

Выпустив Windows Compute Cluster Server 2003, в 2005 году на путь создания программного обеспечения для кластеров вступила корпорация Microsoft.

28 Облако

Облако

Эрик Шмидт, генеральный директор Google, ввел в лексикон ИТ-отрасли термин cloud computing («вычисления в облаке» или «облачный компьютинг»)

29 IBM

IBM

В ноябре 2007 была анонсирована программа Blue Cloud. Ее цель состоит в создании среды, в которую объединяются корпоративные центры обработки данных и обеспечивается распределенный доступ к общим ресурсам. Эта среда будет строиться на принципах Open Source и по открытым стандартам.

30 Кластер под ключ

Кластер под ключ

Комплексное проектирование, сборка, настройка, поддержка HP IBM Fujitsu

31 “Университетский кластер” HP

“Университетский кластер” HP

В рамках программы «Университетский кластер» компания HP предоставляет кластерную систему в конструктиве HP BLc3000 Twr CTO Enclosure на базе 2-х блейд серверов HP ProLiant 2xBL220c в качестве вычислительных узлов и 1-го сервера HP ProLiant BL260c в качестве управляющего узла. Используемый конструктив позволяет добавлением вычислительных узлов расширить кластерную систему до пиковой производительности ~1.2 TFlops.

32 Описание кластера

Описание кластера

Число управляющих узлов 1 Общее число вычислителей (ядер) 32 Общий объем оперативной памяти 32 GB Общий объем дисковой памяти 480 GB Тип вычислительной сети Gigabit Ethernet Тип управляющей сети Gigabit Ethernet Пиковая производительность~0.3 TFlops

33 Скиф

Скиф

«Суперкомпьютерная программа «СКИФ» Союзного государства «Разработка и освоение в серийном производстве семейства высокопроизводительных вычислительных систем с параллельной архитектурой (суперкомпьютеров) и создание прикладных программно-аппаратных комплексов на их основе» реализована в 2000—2004 гг. на основании Постановления Исполкома Союза Беларуси и России № 43 от 22 ноября 1999 года. В программе приняли участие около 20 предприятий России и Беларуси.

34 СКИФ cyberia

СКИФ cyberia

Скиф Cyberia — российский суперкомпьютер, созданный в 2007 году специалистами российской компании «Т-Платформы» и работающий в Томском государственном университете. Производительность системы в стандартном тесте Linpack составляет 8,945 TFLOPS — по этому показателю Скиф Cyberia на апрель 2007 года является самым мощным суперкомпьютером в СНГ[1].

35 Скиф мгу

Скиф мгу

СКИФ МГУ — суперкомпьютер, разработанный на основе суперкомпьютерной программы «СКИФ-ГРИД» и запущенный в работу в МГУ 19 марта 2008 года; способен производить десятки триллионов операций с плавающей точкой в секунду. По состоянию на июнь 2009 года СКИФ МГУ занимал 82-е место в рейтинге Топ-500 для самых мощных компьютеров мира. Пиковая производительность — 60 TFLOPS

36 Отказоустойчивые системы

Отказоустойчивые системы

Система высокой надежности и готовности (high-availability (HA) system) - отказоустойчивая компьютерная система, в которой в случае отказа гарантируются автоматическое восстановление работоспособности в течение нескольких секунд и сохранность данных. В такой системе сервисы не принадлежат какому-то конкретному серверу в кластере, а принадлежат кластеру целиком (кластеризованные сервисы). И в случае выхода одного сервера из строя, его сервисы быстро и автоматически начинают предоставляться другим сервером кластера

37 Хранение данных

Хранение данных

DAS (Direct Attached Storage) - система хранения, непосредственно подключаемая к серверу (может использоваться как внешний, так и внутренний интерфейс); NAS (Network Attached Storage) - система хранения, подсоединяемая к сети; SAN (Storage Area Network) - сеть хранения данных. Основой SAN является выделенная специализированная сеть, которая служит исключительно для организации доступа к данным.

38 На данный момент существует несколько проектов по ускорению работы

На данный момент существует несколько проектов по ускорению работы

приложений в области квантовой химии благодаря использованию GPU с поддержкой CUDA, среди них – Gaussian и GAMESS. На диаграммах ниже вы видите показательные результаты с ссылками на программные и технические отчеты об ускорении расчетов в вычислительной химии при помощи CUDA.

39 Нужны ли вычислительные мощности в один экзафлоп

Нужны ли вычислительные мощности в один экзафлоп

Для моделирования взаимодействия с целой клеткой может понадобиться система в тысячу раз более мощная (с производительностью около экзафлопа), которая сможет полностью обсчитать одну клетку головного мозга. Тогда станет ясно, как, например, будет реагировать на лекарство клетка головного мозга целиком, что значительно повысит качество разрабатываемого лекарства и снизит побочные эффекты.

40 Литература

Литература

Popmech.ru - cайт журнала «Популярная механика» http://clusteron.ru Computerra.ru - cайт журнала «Компьютерра» http://www.nvidia.ru http://www.osp.ru Wikipedia.ru

«Высокопроизводительные вычисления»
http://900igr.net/prezentacija/bez_uroka/vysokoproizvoditelnye-vychislenija-92351.html
cсылка на страницу

Без темы

23688 презентаций
Урок

Без урока

1 тема
Слайды
900igr.net > Презентации по > Без темы > Высокопроизводительные вычисления