Базы данных
<<  Система управления базами данных Microsoft ACCESS СУБД Microsoft Access 2003 РАЗРАБОТКА БАЗЫ ДАННЫХ (Запросы)  >>
Машина баз данных Oracle - Oracle Exadata
Машина баз данных Oracle - Oracle Exadata
Время доступа к сверхбольшим ХД
Время доступа к сверхбольшим ХД
Проблема производительности сверхбольших ХД
Проблема производительности сверхбольших ХД
Решение проблемы
Решение проблемы
Пропускная способность Infiniband
Пропускная способность Infiniband
Конфигурация системы с Exadata
Конфигурация системы с Exadata
Традиционное выполнение запроса
Традиционное выполнение запроса
Выполнение запросов с Exadata
Выполнение запросов с Exadata
Exadata Smart Scan
Exadata Smart Scan
Прозрачность технологии Smart Scan для приложений
Прозрачность технологии Smart Scan для приложений
ASM
ASM
Автоматическая степень параллелизма Как это работает
Автоматическая степень параллелизма Как это работает
Параллельное выполнение в памяти Как это работает
Параллельное выполнение в памяти Как это работает
Инновации Exadata Storage Server
Инновации Exadata Storage Server
Exadata Smart Flash Cache Расширяет ограничения произвольного в/в
Exadata Smart Flash Cache Расширяет ограничения произвольного в/в
Почему кэш SMART
Почему кэш SMART
Гибридное колоночное сжатие Hybrid Columnar Compression
Гибридное колоночное сжатие Hybrid Columnar Compression
Exadata Hybrid Columnar Compression Как это работает
Exadata Hybrid Columnar Compression Как это работает
Реальные результаты Oracle Production E-Business Suite
Реальные результаты Oracle Production E-Business Suite
Другие возможности ПО Exadata
Другие возможности ПО Exadata
Exadata резко снижает трафик
Exadata резко снижает трафик
Архитектура Exadata
Архитектура Exadata
Oracle Grid Computing
Oracle Grid Computing
Архитектура Exadata X2-2
Архитектура Exadata X2-2
Новая модель
Новая модель
Можно начать с четверти Exadata
Можно начать с четверти Exadata
Масштабируемость до 8 шкафов
Масштабируемость до 8 шкафов
Радикальное упрощение развертывания
Радикальное упрощение развертывания
Sun Oracle Database Machine Экстремальная Производительность для всего
Sun Oracle Database Machine Экстремальная Производительность для всего
Машина БД Exadata Консолидация всех существующих приложений
Машина БД Exadata Консолидация всех существующих приложений
Exadata на рынке
Exadata на рынке
Итак, Exadata – это не только ценный мех высокая производительность,
Итак, Exadata – это не только ценный мех высокая производительность,
Why Should Customers Upgrade to 11g Training
Why Should Customers Upgrade to 11g Training
Сравнение моделей Exadata
Сравнение моделей Exadata
X2-2 Database Server (Sun Fire X4170 M2)
X2-2 Database Server (Sun Fire X4170 M2)
X2-8 Database Server (Sun Fire X4800)
X2-8 Database Server (Sun Fire X4800)
Exadata Storage Server X2-2 (Sun Fire X4270 M2)
Exadata Storage Server X2-2 (Sun Fire X4270 M2)

Презентация на тему: «Машина баз данных Oracle - Oracle Exadata». Автор: D. Файл: «Машина баз данных Oracle - Oracle Exadata.ppt». Размер zip-архива: 7004 КБ.

Машина баз данных Oracle - Oracle Exadata

содержание презентации «Машина баз данных Oracle - Oracle Exadata.ppt»
СлайдТекст
1 Машина баз данных Oracle - Oracle Exadata

Машина баз данных Oracle - Oracle Exadata

Шестнадцатая ежегодная техническая конференция «Корпоративные базы данных-2011»

Марк Ривкин Oracle CIS

2 Время доступа к сверхбольшим ХД

Время доступа к сверхбольшим ХД

Exadata

Table Scan Time

Обычное хранилище

Table Size

10 Hour

5 Hour

1 Hour

1TB

10 TB

100TB

3 Проблема производительности сверхбольших ХД

Проблема производительности сверхбольших ХД

Большие хранилища сканируют десятки, сотни и тысячи дисков Соединения между дисками и серверами ограничивают скорость передачи данных в десятки и сотни раз В результате хранилища становятся медленнее по мере роста

4 Решение проблемы

Решение проблемы

Прокачивать меньше данных Увеличить количество каналов связи Сделать каналы связи шире

5 Пропускная способность Infiniband

Пропускная способность Infiniband

Пропускная способность одного соединения

MB/sec

В 3 раза медленнее

В 12 раз медленнее

6 Конфигурация системы с Exadata

Конфигурация системы с Exadata

Каждая ячейка Exadata – самостоятельный сервер с установленными дисками и ПО Exadata Данные «размазаны» между многими ячейками Exadata Нет ограничения на количество ячеек в системе

7 Традиционное выполнение запроса

Традиционное выполнение запроса

Пример: Оператор хочет найти клиентов, которые тратят больше $200 на один звонок С традиционным хранилищем, анализ данных производится сервером БД Большая часть данных отсеивается за ненадобностью Данные, которые отсеиваются, тем не менее тратят время на их передачу

? Возвращается результат

? SELECT customer_id FROM calls where amount > 200;

? БД уменьшает терабайт данных до 1000 имен, которые возвращаются клиенту

? Определяются экстенты таблиц

? Поиск завершен: 1 ТБ данных возвращается на сервер

? Выполняется поиск

8 Выполнение запросов с Exadata

Выполнение запросов с Exadata

Только нужные колонки customer_id И нужные записи where amount>200 Возвращаются на сервер БД Разгружается процессор БД Не передается лишний объем данных

? SELECT customer_id FROM calls where amount > 200;

? Возвращаются записи

? Умный запрос передается ячейкам

? Обобщаются результаты полученные с разных ячеек

? Определяются записи и колонки внутри терабайтной таблицы, удовлетворяющие условиям

? 2MB данных возвращается на сервер

9 Exadata Smart Scan

Exadata Smart Scan

Ячейки Exadata реализуют механизм передачи запросов на сторону хранилища (scan offload) с тем, чтобы значительно уменьшить объем данных возвращаемых на сторону серверов БД Фильтрация строк на основе “where” предиката Фильтрация колонок Фильтрация соединений (join) Фильтрация инкрементального backup Фильтрация зашифрованных данных Работа с функциями Data Mining 10x уменьшение данных является обычным (на тестах заказчиков) Полностью прозрачно для приложения Даже если происходит сбой ячейки или диска во время запроса

11.2

11.2

10 Прозрачность технологии Smart Scan для приложений

Прозрачность технологии Smart Scan для приложений

Smart scans прозрачен для приложения Не требуется изменения приложения или SQL кода Возвращаемые данные полностью консистентны В случае выхода из строя ячейки во время smart scan незавершенная часть запроса прозрачно перенаправляется на ячейку, содержащую копию данных Smart Scans корректно обрабатывает следующие случаи: Неподтвержденные записи (uncommitted) и заблокированные записи Цепочки строк (chained rows) Сжатые таблицы Обработку национальных языков Работа с датами Регулярные выражения Партиционированные таблицы

11 ASM

ASM

Exadata

Database Machine Software Архитектура

Oracle Database 11g на 8 или 2 узлах RAC ASM обеспечивает зеркалирование, чередование и балансировку ПО Exadata обеспечивает smart scan с помощью протокола iDB

11g Database Server

Управление пулом хранения

Интеллектуальная система хранения

12 Автоматическая степень параллелизма Как это работает

Автоматическая степень параллелизма Как это работает

Если оцениваемое время выполнения больше чем задано параметром

SQL разобран и оптимизатор определил план выполнения

SQL оператор

Оптимизатор определяет идеальную DOP

Реальная DOP = MIN(default DOP, ideal DOP)

Если оцениваемое время выполнения меньше PARALLEL_MIN_TIME_THRESHOLD

SQL выполняется параллельно

SQL выполняется без параллелизма

© 2009 Oracle Corporation – Proprietary and Confidential

New 11.2

13 Параллельное выполнение в памяти Как это работает

Параллельное выполнение в памяти Как это работает

Определяет размер просматриваемой таблицы

SQL оператор

Фрагменты таблицы читаются в буферные кэши каждого узла

© 2009 Oracle Corporation – Proprietary and Confidential

New 11.2

14 Инновации Exadata Storage Server

Инновации Exadata Storage Server

Intelligent storage Smart Scan query offload Масштабируемый storage

Hybrid Columnar Compression Сжатие до 10 раз для DW Сжатие до15-50 раз для архивов

Smart Flash Cache Ускорение случайного I/O до 20 раз Удваивает скорость сканирования данных

Данные остаются сжатыми

Несжатые

Выгоды мультиплек-сируются

Сжатые

primary

backup

test

standby

dev’t

Copyright © 2011, Oracle Corporation and/or its affiliates

15 Exadata Smart Flash Cache Расширяет ограничения произвольного в/в

Exadata Smart Flash Cache Расширяет ограничения произвольного в/в

дисков

300 I/O в секунду

Десятки тысяч операций в секунду

Компромисс между традиционными дисками и Флэш памятью Диски дешевы, имеют большую ёмкость, но ограничены низким в/в (300 IOPS на диск) Флэш память дорогая, имеет малую ёмкость, но может поддержать тысячи операций в/в в секунду Идеальное решение - Exadata Smart Flash Cache Хранение данных на диске из-за стоимости Прозрачно перемещает “горячие” данные на флэш кэш Используются флэш карты вместо флэш дисков, что исключает ограничения дисковых контроллеров Флэш карты в Exadata Высокая пропускная способность, низкая лэтентность 4 x 96GB PCI Express Flash Cards на Exadata Server

Copyright © 2009, Oracle Corporation and/or its affiliates – 15 –

16 Почему кэш SMART

Почему кэш SMART

Exadata интегрирована с СУБД Oracle, поэтому умеет точно определять что и когда кэшировать: Согласно атрибутам объекта CELL_FLASH_CACHE NONE, DEFAULT & KEEP DB caching hint (defined for different I/O types) CACHE, NOCACHE, EVICT ASM primary/secondary IOs I/O size (Small I/O are cached if KEEP is not set) < 128KB IO is small Подозрителен к сканированию таблиц – большим операциям чтения Примеры: Операции с Control File кэшируются Заголовки файлов, блоки индексов и таблиц кэшируются Пропускает кэширование операций записи зеркальных копий Пропускает кэширование форматирования табличных пространств

17 Гибридное колоночное сжатие Hybrid Columnar Compression

Гибридное колоночное сжатие Hybrid Columnar Compression

Данные группируются по колонкам и затем сжимаются Query Mode для хранилищ данных Оптимизированы для быстрого доступа 10X сжатие Время сканирования уменьшается соответственно Archival Mode для редко используемых данных Оптимизировано для уменьшения занимаемо места 15X сжатие До to 50X раз для некоторых данных Помощник по сжатию DBMS_COMPRESSION PL/SQL пакет

18 Exadata Hybrid Columnar Compression Как это работает

Exadata Hybrid Columnar Compression Как это работает

Reduces Table Size 4x to 40x

4x to 50x Reduction

Compression Unit

Column 2

Column 3

Column 1

Таблица делится на группы из нескольких тысяч строк Compression Units (CUs) В CU данные режутся по колонкам и затем сжимаются Колонка позволяет хранить похожие данные вместе, увеличивая степень сжатия Полезно при прямой загрузке и выборке данных Низкая активность по обновлению Степень сжатия как у лучших промышленных алгоритмов – Gzip, Bzip2 (LZO/ZLIB/BZ2 ) Exadata выгружает на ячейки фильтрацию, проекции и т д для сканирования сжатых данных Выборка по индексу возвращает сжатые блоки в БД, так что экономится буферный кэш

Copyright © 2010, Oracle Corporation and/or its affiliates – 18 –

19 Реальные результаты Oracle Production E-Business Suite

Реальные результаты Oracle Production E-Business Suite

52

Коэффициенты колоночного сжатия Query = 14.6X Archive = 22.6X Зависит от приложения

20 Другие возможности ПО Exadata

Другие возможности ПО Exadata

Exadata Storage Indexes Структура в памяти, которая исключает ненужные дисковые операции В/В Хранит МИН и МАКС значения для каждой колонки Обычно одна запись в индексе для каждого Мб диска I/O Resource Manager (IORM) Обеспечивает приоритет операций В/В для обеспечения предсказуемой производительности

Copyright © 2009, Oracle Corporation and/or its affiliates – 20 –

21 Exadata резко снижает трафик

Exadata резко снижает трафик

Милисекунды на database machine

Данных в десятки раз меньше, Scans в 2000 раз быстрее

10 TB данных требуют IO для 10 TB

1 TB после сжатия

100 GB с partition pruning

20 GB с storage indexes

5 GB с smart scans

Copyright © 2009, Oracle Corporation and/or its affiliates – 21 –

22 Архитектура Exadata

Архитектура Exadata

Single-Instance Database

RAC Database

DB Server

DB Server

DB Server

DB Instance

DB Instance

DB Instance

DBRM

DBRM

DBRM

ASM

ASM

ASM

iDB Protocol over InfiniBand with Path Failover

Exadata Cell

InfiniBand Switch/Network

23 Oracle Grid Computing

Oracle Grid Computing

Storage Grid Database Grid Application Grid Grid Control

Кластеры серверов приложений

Кластеры баз данных

Grid Control

Сетевые устр. хранения

24 Архитектура Exadata X2-2

Архитектура Exadata X2-2

Database Grid

Storage Grid

InfiniBand Network

8 compute servers (1U) 2 Intel Sockets

14 storage servers (2U) 2 Xeon CPUs per server 100 TB High Speed disk, or 336 TB High Capacity disk 5 TB PCI Flash Data mirrored across storage servers

Redundant 40Gb/s switches Unified server & storage net

25 Новая модель

Новая модель

Exadata X2-8

Database Grid

Storage Grid

Network

2 64-core Intel EX Servers 2 TB Memory Выбор: Oracle Linux Unbreakable Enterprise Kernel Solaris 11 Express

Same Storage Grid as Exadata X2-2 CPUs updated to latest 6-core Xeon

Redundant 40Gb/s Infiniband 10 Gb Ethernet to Data Center

26 Можно начать с четверти Exadata

Можно начать с четверти Exadata

Half Rack

Full Rack

Quarter Rack

27 Масштабируемость до 8 шкафов

Масштабируемость до 8 шкафов

2368 ядер 2.6 петабайт несжатых данных

28 Радикальное упрощение развертывания

Радикальное упрощение развертывания

Database Machine упрощает развертывание систем БД Месяцы конфигурации, разрешение проблем, настройки Database Machine готова к назначенному сроку Уже созданная, протестированная , стандартная и поддерживаемая конфигурация Прозрачно для существующих приложений – не нужно никаких изменений! Экстремальная производительность “прямо из коробки”

Не месяцы, а дни

Copyright © 2009, Oracle Corporation and/or its affiliates – 28 –

Готово к работе

29 Sun Oracle Database Machine Экстремальная Производительность для всего

Sun Oracle Database Machine Экстремальная Производительность для всего

Для хранилищ данных Параллельные запросы в памяти или в Flash Сжатые 4TB данных в памяти, 50 TB на flash В среднем в 10X-20X быстрее традиционных хранилищ Для OLTP-систем Масштабирование реальных приложений в grid - среде Smart flash кэш обеспечивает 1 млн операций ввода/вывода в секунду Сжатые 1.2 TB данных в памяти, 15 TB в Flash Сжатие в 50x для архивных данных Защищенность и отказоустойчивоть Для консолидации баз данных Поддерживает масштабирование любых типов нагрузки Предсказуемое время отклика в многопользовательском окружении

30 Машина БД Exadata Консолидация всех существующих приложений

Машина БД Exadata Консолидация всех существующих приложений

На Exadata могут совместно выполняться приложения любого типа. Это гарантируется: Широкими каналами и масштабируемой системой ввода/вывода; Instance Caging – ограничение на ресурсы ЦПУ между БД на одном узле; Менеджер ресурсов ввода/вывода; Большой объем памяти и процессорные мощности для онлайн задач; Оффлоадинг операций (smart scans, storage indexes) для пакетных задач, отчетности, хранилищ; Встроенная компрессия – существенная сэкономить на дисковом пространстве для любых приложений. Архивы и данные для отчетности

Copyright © 2010, Oracle Corporation and/or its affiliates – 30 –

31 Exadata на рынке

Exadata на рынке

Была выпущена в 2008 Применяется в всех регионах и индустриях

31

© 2010 Oracle Corporation

32 Итак, Exadata – это не только ценный мех высокая производительность,

Итак, Exadata – это не только ценный мех высокая производительность,

НО и:

Поколоночное сжатие Распарралеливание запроса на 128+ процессоров Огромная память 2 Тб на 1 машине Компактность (1 холодильник вместо 22 комп + диски) Масштабируемость – 0.25 -> 1 -> 8 ….. HA внутри коробки Сбалансированная архитектура Предустановлено, преконфигурировано Быстрое развертывание Единая точка тех поддержки Единая консоль управления, патчи и т д Дешево (особенно если oracle уже есть) DSS+DW+OLTP+ mixed И т д

33 Why Should Customers Upgrade to 11g Training

Why Should Customers Upgrade to 11g Training

33

34 Сравнение моделей Exadata

Сравнение моделей Exadata

64

96

128

576GB

768GB

2TB

112

168

168

5.3TB

5.3TB

5.3TB

v2 Full Rack

x2-2 Full Rack

x2-8 Full Rack

Database servers

8 x Sun Fire x4170 1U

8 x Sun Fire x4170 M2 1U

2 x Sun Fire x4800 5U

Database CPUs

Xeon E5540 quad core 2.53GHz

Xeon X5670 six cores 2.93GHz

Xeon X7560 eight cores 2.26GHz

Database cores

Database RAM

Storage cells

Storage cell CPUs

Storage cells CPU cores

Flash Cache

InfiniBand Switches

Database Servers OS

14 x SunFire X4275

14 x SunFire X4270 M2

14 x SunFire X4270 M2

Xeon E5540 quad core 2.53GHz

Xeon L5640 six cores 2.26GHz

Xeon L5640 six cores 2.26GHz

QDR 40Gbit/s wire

QDR 40Gbit/s wire

QDR 40Gbit/s wire

Oracle Linux only

Oracle Linux (possible Solaris later, still unclear)

Oracle Linux or Solaris x86

35 X2-2 Database Server (Sun Fire X4170 M2)

X2-2 Database Server (Sun Fire X4170 M2)

Processors

2 Six-Core Intel® Xeon® X5670 Processors (2.93 GHz)

Memory

96GB (12 x 8GB)

Local Disks

4 x 300GB 10K RPM SAS Disks

Disk Controller

Disk Controller HBA with 512MB Battery Backed Cache

Network

2 (Two) x InfiniBand 4X QDR (40Gb/s) Ports (1 Dual-port PCIe 2.0 HCA) 4 (Four) x 1GbE Ethernet Ports 2 (Two) x 10GbE Ethernet SFP+ Ports (1 Dual-port 10GbE PCIe 2.0 network card based on the Intel 82599 10GbE Controller technology)

Remote Management

1 Ethernet port (ILOM)

Power supplies

2 Redundant Hot-Swappable power supplies

Copyright © 2010 Oracle Corporation and/or its affiliates – 35 –

36 X2-8 Database Server (Sun Fire X4800)

X2-8 Database Server (Sun Fire X4800)

Processors

8 x Eight-Core Intel® Xeon® X7560 Processors (2.26 GHz)

Memory

1 TB (128 x 8GB)

Local Disks

8 x 300GB 10K RPM SAS Disks

Disk Controller

Disk Controller HBA with 512MB Battery Backed Cache

Network

8 (Eight) x InfiniBand 4X QDR (40Gb/s) Ports (4 Dual-port PCE 2.0 Express Modules) Two Network Express Modules (NEM), providing a total of 8 (Eight) x 1GbE Ethernet Ports 8 (Eight) x 10 GbE Ethernet SFP+ Ports (via 4 Fabric Express Modules (FEM) based Intel 82599 10GbE Controller technology)

Remote Management

1 Ethernet port (ILOM)

Power supplies

4 Redundant Hot-Swappable power supplies

Copyright © 2010 Oracle Corporation and/or its affiliates – 36 –

37 Exadata Storage Server X2-2 (Sun Fire X4270 M2)

Exadata Storage Server X2-2 (Sun Fire X4270 M2)

Processors

2 Six-Core Intel® Xeon® L5640 Processors (2.26 GHz)

Memory

24 GB (6 x 4GB)

Disks

12 x 600 GB 15K RPM High Performance SAS OR 12 x 2 TB 7.2K RPM High Capacity SAS

Flash

4 x 96 GB Sun Flash Accelerator F20 PCIe Cards

Disk Controller

Disk Controller HBA with 512MB Battery Backed Cache

Network

2 (Two) InfiniBand 4X QDR (40Gb/s) Ports (1 Dual-port PCIe 2.0 HCA) 4 Embedded Gigabit Ethernet Ports

Remote Management

1 Ethernet port (ILOM)

Power Supplies

2 Redundant Hot-Swappable power supplies

Copyright © 2010 Oracle Corporation and/or its affiliates – 37 –

«Машина баз данных Oracle - Oracle Exadata»
http://900igr.net/prezentacija/informatika/mashina-baz-dannykh-oracle-oracle-exadata-130188.html
cсылка на страницу
Урок

Информатика

130 тем
Слайды
900igr.net > Презентации по информатике > Базы данных > Машина баз данных Oracle - Oracle Exadata