Без темы
<<  FRAS 4 (free radical analitical system) АНАЛИТИЧЕСКАЯ СИСТЕМА ОПРЕДЕЛЕНИЯ СВОБОДНЫХ РАДИКАЛОВ INF-кренол  >>
gLite – ППО для EGEE
gLite – ППО для EGEE
ППО Грид (middleware)
ППО Грид (middleware)
ППО Грид (middleware)
ППО Грид (middleware)
История gLite
История gLite
Основные компоненты
Основные компоненты
Основные сервисы gLite
Основные сервисы gLite
Управление данными
Управление данными
Свойства и требования
Свойства и требования
Требования к gLite SE
Требования к gLite SE
Проблема имён файлов
Проблема имён файлов
Именование файлов
Именование файлов
Каталоги (File and Replica Catalog)
Каталоги (File and Replica Catalog)
Структура LFC
Структура LFC
Команды LFC
Команды LFC
Команды работы с файлами (lcg-utils)
Команды работы с файлами (lcg-utils)
Информационная система
Информационная система
Информационная Система gLite
Информационная Система gLite
ИС в gLite 3.0
ИС в gLite 3.0
R-GMA
R-GMA
Архитектура R-GMA
Архитектура R-GMA
R-GMA пример 1
R-GMA пример 1
R-GMA пример 2
R-GMA пример 2
Доступ к данным ИС
Доступ к данным ИС
lcg-infosites
lcg-infosites
lcg-info
lcg-info
Опции lcg-info
Опции lcg-info
Примеры
Примеры
Запуск заданий
Запуск заданий
Использование заданий для запуска приложений
Использование заданий для запуска приложений
Workload Management System
Workload Management System
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Запуск задания
Выполнение задания
Выполнение задания

Презентация на тему: «GLite – ППО для EGEE». Автор: . Файл: «GLite – ППО для EGEE.ppt». Размер zip-архива: 2155 КБ.

GLite – ППО для EGEE

содержание презентации «GLite – ППО для EGEE.ppt»
СлайдТекст
1 gLite – ППО для EGEE

gLite – ППО для EGEE

Олешко С.Б. Петербургский институт ядерной физики г.Гатчина

2 ППО Грид (middleware)

ППО Грид (middleware)

Middleware “скрывает” технические детали Грид-инфраструктуры и обеспечивает безопасную интеграцию/распределение ресурсов интернет-протоколы не обеспечивают безопасный механизм доступа к разделяемым ресурсам

”Прозрачное” взаимодействие между гетерогенными ресурсами (принадлежащих различным, географически распределённым организациям), приложениями и пользователями возможно только при помощи… использования специализированного программного обеспечения, называемогоmiddleware

2

Санкт-Петербург, 28.04.2009

3 ППО Грид (middleware)

ППО Грид (middleware)

Используя ПК или workstation

Используя Грид

Сервисы связываются через Интернет

Компоненты системы связываются по шине

ППО (middleware)

Операционная система

Множество административных доменов

Один административный домен

Для входа – единый цифровой сертификат (“Аутентификация”) Использование прав, делегированных вам (“Авторизация”) Запуск заданий Управление файлами: создание, чтение/запись, список директорий

Для входа – имя (account) и пароль (“Аутентификация”) Использование прав, разрешенных вам (“Авторизация”) Запуск заданий Управление файлами: создание, чтение/запись, список директорий

3

Санкт-Петербург, 28.04.2009

4 История gLite

История gLite

gLite 3.1(2007)

4

Санкт-Петербург, 28.04.2009

5 Основные компоненты

Основные компоненты

User Interface (UI): Для пользователя - точка входа в Грид

Workload Management System (WMS): Определяет соответствие между требованиями задания и доступными Грид-ресурсами, управляет запуском

Information System: Содержит характеристики и статус ресурсов

File and replica catalog: местоположение файлов в Грид и их реплик

Logging and Bookkeeping (LB): Статус заданий, выполняющихся в Грид

Computing Element (CE): Очередь заданий на вычислительном узле, где может выполняться задание пользователя

Storage Element (SE): Сервер хранения данных, где сохраняются Грид файлы (чтение/запись/копирование) или их реплики

5

Санкт-Петербург, 28.04.2009

6 Основные сервисы gLite

Основные сервисы gLite

Access

Security

Information & Monitoring

Data Management

Workload Management

CLI

API

Authorization

Auditing

Information & Monitoring

Application Monitoring

Authentication

Metadata Catalog

File & Replica Catalog

Job Provenance

Package Manager

Accounting

Storage Element

Data Movement

Computing Element

Workload Management

Site Proxy

6

Санкт-Петербург, 28.04.2009

7 Управление данными

Управление данными

7

Санкт-Петербург, 28.04.2009

8 Свойства и требования

Свойства и требования

Необходим общий интерфейс к устройствам Storage Resource Manager (SRM) Необходим способ определения местоположения файлов File and Replica Catalogs Необходима управляемая, надежная передача файлов File transfer and placement services Необходима общая модель безопасности Реализация контроля доступа (ACL), основанного на применении Grid DNs

Гетерогенность Данные хранятся на различных устройствах (диски, ленты), использующих различные методы доступа Распределенность Данные хранятся на различных сайтах, где отсутствует общая разделяемая файловая система Данные могут перемещаться между различными сайтами Различные административные домены Данные хранятся там, куда обычный доступ вам запрещен

8

Санкт-Петербург, 28.04.2009

9 Требования к gLite SE

Требования к gLite SE

Storage Element - это сервис, который позволяет пользователю или приложению сохранять данные для будущего использование Управление локальными ресурсами памяти (диски) и интерфейс к Mass Storage Systems (ленты), таким как HPSS, CASTOR, DiskeXtender (UNITREE), … Способность управлять различными системами хранения данных единым способом и прозрачно для пользователя (обеспечивается через SRM интерфейс) Поддержка основных протоколов передачи данных GridFTP обязательно Другие по возможности (https, ftp, etc…) Поддержка “привычного” протокола доступа для ввода/вывода удалённых файлов POSIX (like) I/O client library for direct access of data (GFAL)

9

Санкт-Петербург, 28.04.2009

10 Проблема имён файлов

Проблема имён файлов

Имена файлов на SE имеют только локальное значение: – /tmp/picard/file1 (Unix) – srm://castorgrid.cern.ch:8443/srm/managerv1?SFN =/castor/cern.ch/file1 (SRM Site URL – SURL) Локальная система может преобразовывать имена файлов, напр. SURL не может использоваться прямо, он должен быть преобразован SRM в Transfer URL (TURL) : gsiftp://se05.cern.ch/scratch/file05

Для доступа к файлам необходим подход, позволяющий абстрагироваться от локальной системы имен и обеспечить общий для GRID среды механизм имен файлов

10

Санкт-Петербург, 28.04.2009

11 Именование файлов

Именование файлов

Symbolic Link в пространстве логических имён (logical filename space) Logical File Name (LFN) [lfn:<anything_you_want>] Имя, созданное пользователем для того чтобы ссылаться на некоторый элемент данных, напр. “lfn:cms/20030203/run2/track1” Globally Unique Identifier (GUID) [guid:<40_bytes_unique_string>] Внутренний (машинный) идентификатор элемента данных, напр. “guid:f81d4fae-7dec-11d0-a765-00a0c91e6bf6” Site URL (SURL) [<sfn | srm>://<SE_hostname>/<some_string>] (or Physical File Name (PFN) or Site FN) Физическое местоположение реплики элемента данных в системе хранения данных, напр. “srm://pcrd24.cern.ch/flatfiles/cms/output10_1” (SRM) “sfn://lxshare0209.cern.ch/data/alice/ntuples.dat” (Classic SE) Transport URL (TURL) [<protocol>://<some_string>] Временный указатель на реплику + протокол доступа: распознаётся SE, напр. “rfio://lxshare0209.cern.ch//data/alice/ntuples.dat”

. .

. .

. .

File and Replica Catalog

SRM

Symbolic Link 1

Physical File SURL 1

TURL 1

LFN

GUID

Symbolic Link n

Physical File SURL n

TURL n

11

Санкт-Петербург, 28.04.2009

12 Каталоги (File and Replica Catalog)

Каталоги (File and Replica Catalog)

Главная цель - определить, где размещены файлы в Grid File and Replica Catalog - это сервис, который реализует это и поддерживает соответствие между LFNs, GUIDs и SURLs. В gLite поддерживаются 2 типа каталогов: Replica Location Server (RLS) - старый Local Replica Catalog (LRC) Replica Metadata Catalog (RMC) LCG File Catalog (LFC) – по умолчанию Тип используемого пользователем каталога определяется переменной окружения LCG_CATALOG_TYPE: edg для RLS, lfc для LFC Оба каталога между собой несовместимы!!! Однако есть средства миграции из RLS в LFC Файл данных только тогда может считаться Грид-файлом, когда он физически присутствует на каком-либо SE и зарегистрирован в каталоге

12

Санкт-Петербург, 28.04.2009

13 Структура LFC

Структура LFC

LFC имеет иерархическую структуру /grid/<vo_name>/ <you create it>

Все члены данной ВО имеют права чтения/записи в соответствующую директорию Если соответствующей директории нет, то это означает, что данный LFC сервер не поддерживает эту ВО Команды работы с LFC похожи на соответствующие команды в UNIX (с префиксом lfc-) Переменная окружения $LFC_HOST должна содержать имя LFC сервера

13

Санкт-Петербург, 28.04.2009

14 Команды LFC

Команды LFC

14

Санкт-Петербург, 28.04.2009

15 Команды работы с файлами (lcg-utils)

Команды работы с файлами (lcg-utils)

Replica Management

File Catalog Interaction

15

Санкт-Петербург, 28.04.2009

16 Информационная система

Информационная система

16

Санкт-Петербург, 28.04.2009

17 Информационная Система gLite

Информационная Система gLite

В распределенной среде важна возможность получать информацию о доступных в данный момент ресурсах. Эта информация может включать: сайты (CE), способные выполнить данное задание, их загрузка, ПО, установленное на них. сайты, предоставляющие возможности для хранения данных, включая их статус, максимальный размер и число файлов, которые могут быть сохранены. данные мониторирования процесса выполнения задания

17

Санкт-Петербург, 28.04.2009

18 ИС в gLite 3.0

ИС в gLite 3.0

В gLite используются 2 основных ИС: Monitoring and Discovery Service (MDS) – для сохранения информации о ресурсах и публикации их статуса. Эта ИС пришла из Globus Toolkit и используется вместе с Berkley Database Information Indexes (BDII) Relational Grid Monitoring Architecture (R-GMA) – для сбора, мониторирования и публикации информации пользовательского уровня.

18

Санкт-Петербург, 28.04.2009

19 R-GMA

R-GMA

R-GMA: Relation Grid Monitoring Architecture Динамические данные о заданиях Использует реляционную модель данных, которая очень гибкая и позволяет строить сложные запросы данные представляются в виде таблиц. структура данных определяется по колонкам. каждая запись есть строка (tuple). язык запросов - Structured Query Language (SQL). Поддерживает различные типы запросов: streams archives latest-value R-GMA обеспечивает средства для любого, кто хочет опубликовать свою информацию о Грид. В принципе он может выполнять функции MDS.

19

Санкт-Петербург, 28.04.2009

20 Архитектура R-GMA

Архитектура R-GMA

Все Producers регистрируются в Registry, определяя Schema Consumer получает из Registry те URLs, которые могут выполнить его запрос. Consumer взаимодействует с этими Producers. Producers обрабатывают query и возвращают tuples Consumer.

Schema

Registry

Producer 1

Producer 2

Consumer

Виртуальная база данных

20

Санкт-Петербург, 28.04.2009

21 R-GMA пример 1

R-GMA пример 1

21

Санкт-Петербург, 28.04.2009

22 R-GMA пример 2

R-GMA пример 2

SELECT Service.URI Service.emailContact FROM Service S, ServiceStatus SS WHERE (S.URI= SS.URI and SS.up=‘n’)

22

Санкт-Петербург, 28.04.2009

23 Доступ к данным ИС

Доступ к данным ИС

Есть две утилиты для доступа к данным ИС.

В большинстве случаев их достаточно для пользователя, что позволяет избежать использования сложных запросов.

23

Санкт-Петербург, 28.04.2009

24 lcg-infosites

lcg-infosites

Получение информации о Грид ресурсах.

lcg-infosites --vo <vo name> options -v <verbose level>

--vo название Виртуальной Организации -v уровень детализации вывода Опции:

24

Санкт-Петербург, 28.04.2009

25 lcg-info

lcg-info

Эта команда используется для получения характеристик CE или SE, которые удовлетворяют некоторым условиям и выводят значения заданного множества атрибутов. Синтаксис определения условия: attr1 op1 valueN, ... attrN opN valueN где attrN имя атрибута op =, >= or <=, и несколько условий могут быть объединены через И. Разделитель – запятая, пробелы не допускаются. lcg-info --list-ce [--vo <vo>] [--sed] [--query <query>] [--attrs <list>] lcg-info --list-se [--vo <vo>] [--sed] [--query <query>] [--attrs <list>] lcg-info --list-attrs

25

Санкт-Петербург, 28.04.2009

26 Опции lcg-info

Опции lcg-info

26

Санкт-Петербург, 28.04.2009

27 Примеры

Примеры

Список всех CE, у которых общее количество процессоров >=10 и установлена ОС Scientific Linux. Дополнительно вывести количество выполняемых заданий и количество свободных процессоров $ lcg-info --list-ce --query 'TotalCPUs>=10,OS=*SL*' --attrs 'RunningJobs,FreeCPUs‘ Список всех CE для ВО nw_ru, где установлен пакет MPI. Дополнительно вывести количество процессоров. $ lcg-info –vo nw_ru --list-ce --query ‘Tag=*MPICH*’ --attrs ‘TotalCPUs’ Список всех SE для ВО nw_ru, где объем доступной памяти >=100000Kb. Дополнительно вывести ближайший SE. $ lcg-info –vo nw_ru --list-se --query ‘AvailableSpace>=100000’ --attrs ‘CloseCE’

27

Санкт-Петербург, 28.04.2009

28 Запуск заданий

Запуск заданий

28

Санкт-Петербург, 28.04.2009

29 Использование заданий для запуска приложений

Использование заданий для запуска приложений

Задание (job) – это средство для запуска приложений в Грид Информация, которая должна быть определена, когда задание должно быть запущено в Грид Характеристики задания Требования задания и условия на вычислительные ресурсы Включая требования на программное обеспечение Требования к данным Эта информация определяется при помощи Job Description Language (JDL) Основан на CLASSified ADvertisement language (ClassAd) из проекта Condor ClassAd – последовательность атрибутов, разделённых (;)

29

Санкт-Петербург, 28.04.2009

30 Workload Management System

Workload Management System

Пользователь управляет заданиями через подсистему управления загрузкой (Workload Management System - WMS); Основная задача WMS - планирование и управление распределенными ресурсами в системе Grid; Что может пользователь? Посылать задачи на выполнение; Выполнять задачи на наиболее подходящих для этого ресурсах (WMS автоматически оптимизирует использование ресурсов); Получать информацию о состоянии задач; Получать результаты выполнения задач.

30

Санкт-Петербург, 28.04.2009

31 Запуск задания

Запуск задания

RB storage

Job Status

31

Санкт-Петербург, 28.04.2009

32 Запуск задания

Запуск задания

RB storage

Job Status

32

Санкт-Петербург, 28.04.2009

33 Запуск задания

Запуск задания

RB storage

Job Status

33

Санкт-Петербург, 28.04.2009

34 Запуск задания

Запуск задания

RB storage

Job Status

34

Санкт-Петербург, 28.04.2009

35 Запуск задания

Запуск задания

RB storage

Job Status

35

Санкт-Петербург, 28.04.2009

36 Запуск задания

Запуск задания

RB storage

Job Status

36

Санкт-Петербург, 28.04.2009

37 Запуск задания

Запуск задания

RB storage

Job Status

37

Санкт-Петербург, 28.04.2009

38 Запуск задания

Запуск задания

RB storage

Job Status

38

Санкт-Петербург, 28.04.2009

39 Запуск задания

Запуск задания

RB storage

Job Status

39

Санкт-Петербург, 28.04.2009

40 Запуск задания

Запуск задания

RB storage

Job Status

40

Санкт-Петербург, 28.04.2009

41 Запуск задания

Запуск задания

RB storage

CE получает запрос и посылает задание на выполнение LRMS

Job Status

Файлы из Input Sandbox

Задание

41

Санкт-Петербург, 28.04.2009

42 Запуск задания

Запуск задания

RB storage

LRMS управляет выполнением задания

Job Status

42

Санкт-Петербург, 28.04.2009

43 Запуск задания

Запуск задания

RB storage

Job Status

Файлы из Output Sandbox

43

Санкт-Петербург, 28.04.2009

44 Запуск задания

Запуск задания

RB storage

glite-wms-get-output <job-id>

Job Status

44

Санкт-Петербург, 28.04.2009

45 Запуск задания

Запуск задания

RB storage

cleared

Job Status

Файлы из Output Sandbox

45

Санкт-Петербург, 28.04.2009

46 Выполнение задания

Выполнение задания

SUBMITTED - задание послано пользователем, но пока не обработано network server WAITING - задание принято network server, но ещё не обработано workload manager READY - заданию назначен computing element, но оно туда ещё не передано SCHEDULED - задание ожидает в очереди на computing element RUNNING - задание выполняется DONE - задание завершилось ABORTED - задание снято WMS (т.К. Слишком долгое, срок действия сертификата истёк, и т.П.) CANCELLED - задание снято пользователем CLEARED - output sandbox передан на user interface

46

Санкт-Петербург, 28.04.2009

«GLite – ППО для EGEE»
http://900igr.net/prezentacija/fizika/glite-ppo-dlja-egee-115372.html
cсылка на страницу
Урок

Физика

134 темы
Слайды