Презентация на тему «IBM Dynamic Warehouse»

IBM Dynamic Warehouse Николай Куликов Nikolay_Kulikov@ru

ibm.com

March 2007

3rd Generation

2nd Generation

1st Generation

Ясная, необходимая информация в Любом месте в Любое время

Помощь в раскрытии преступлений -предоставление необходимой информации в момент прибытия офицеров на место происшествия

Оптимизация работы полицейских

Статистика преступлений

1

Dynamic Warehousing A New Approach to Leveraging Information

Dynamic Warehousing

Традиционные Хранилища

2

Больше примеров Dynamic Warehousing в действии

Традиционные Хранилища

Dynamic warehousing

Аналитика и отчетность мошенничеству в страховании

Отчетность по претензиям клиентов

Анализ и отчетность по продажам за прошедший период

Статистика и отчетность по преступлениям

3

Вызовы стоящие перед традиционными ХД

Увеличивающаяся Смешанная нагрузка и Постоянно изменяющиеся требования различных бизнес направлений требует более Динамичных Возможностей ХД

ХД должны сейчас: Адресованы к расширяющимся потребностям аналитики по запросу Использовать ВСЕ типы информации включая неструктурированную Обслуживать увеличивающиеся количество и типы приложений и пользователей с различными потребностями уровня обслуживания

4

IBM предоставляет больше чем хранилище

Встроенная Аналитика (встроенная и как сервис) Многомерный анализ Data mining,Визуализация

За границами традиционных структурированных данных

IBM DB2 Warehouse

Высокая компрессия Сокращение затрат на диски, лучшая утилизация дисков, повышение производительности запросов

5

IBM Dynamic Warehousing Интегрированное предложение

6

Решение от IBM: IBM Information Server Предоставление информации

которой вы можете доверять

IBM Information Server

Общее Внедрение

Трансформация

Доставка

Понимание

Очистка

Общее управление метаданными

Стандартизация, объединение, и корректировка информации

Объединение и реструктуризация информации для нового пользования

Синхронизация, виртуализация, перемещение информации

Обнаружение, моделирование, управление информацией

Параллельная обработка

Широкие возможности доступа к Приложениям, Данным, и Контенту

7

IBM Information Server - Архитектура

Общий gui

Интерфейс Аналитика

Интерфейс Разработчика

Интерфейс Web Администрирования

Общие службы

Службы Метаданных

Службы установки

Службы безопасности

Службы Журнала & Отчетности

Общая параллельная обработка

Общие метаданные

Понимание

Очистка

Трансформация

Доставка

Разработка

Оперативные

Общие интерфейсы доступа

Структурированные, Неструктурированные, Приложения, Mainframe

8

Почему важно начинать с Понимания

Где необходимая информация? Как я могу ее получить если она мне нужна? Что она означает? Могу ли я ей доверять? Когда я ее получаю в какой форме она мне нужна? Как я могу ее контролировать?

9

Физические метаданные: IBM WebSphere Information Analyzer

Основанный на данных анализ приложений, БД и файловых источников данных Безопастная, детальная профилировка полей, между полями и между источниками Создание метаданных как результатов профилирования Результаты постоянно доставляются посредством IBM Information Server

IBM WebSphere Information Analyzer

Understand

Анализ структур исходных данных и мониторинг их качества и соответствия правилам

Physical View

10

Бизнес метаданные: IBM WebSphere Business Glossary

Построенная на Web система для описания, управления & общего доступа к бизнес метаданным Выравнивание действий IT с целями бизнеса Предоставление бизнес контекста к информационным активам

IBM WebSphere Business Glossary

Understand

Create and manage business vocabulary and relationships, while linking to physical sources

Business View

Database = DB2 Schema = NAACCT Table = DLYTRANS Column = ACCT_NO data type = char(11)

GL Account Number The ten digit account number. Sometimes referred to as the account ID. This value is of the form L-FIIIIVVVV.

Business

Technical

11

Очистка данных: IBM WebSphere QualityStage

Специализированные функции очистки данных прозрачно интегрированы с DataStage Визуальные инструменты для определения комплексных отображений и логики сохранения полей Проверка очистки, стандартизации, де-дубликации информации Единая версия правды

IBM WebSphere QualityStage™

Cleanse

Standardize and correct source data fields, and match records together across sources to create a single view

Visual Match Rule Design

12

Что важно в трансформации и доставке данных

Трансформация это ключ для предоставления информации для использования ее в новых бизнес контекстах – это требует что бы эта информация была основанная на метаданных Разработана для использования экспертами по информации и управляется посредством метаданных Трансформация и доставка может быть использована множеством механизмов Перемещение больших объемов заданиями(batch) Ответ на событие в реальном времени SOA Федеративные запросы

Logic Reuse

Query

DBAs

Data Analysts

Data Architects

Subject Matter Experts

13

Трансформация & Перемещение: IBM WebSphere DataStage

Визуальная разработка потоков данных с сотнями встроенных трансформаций Оптимизированное использование объектов интеграционных Возможность параллельной обработки без необходимости изменять процессы обработки Возможность работы как с batch так real-time операциями

IBM WebSphere DataStage®

Transform

Deliver

Трансформация и агрегация любых объемов информации

14

Федеративные данные: IBM WebSphere Federation Server

Доступ к распределенной информации без ее перемещения Лучшая в индустрии оптимизация запросов с поддержкой SSO, функции компенсации Поддержка транзакций между распределенными источниками

Deliver

15

Федеративные запросы делают интеграцию простой как SQL

SELECT parameters_return_billto_key as BILL_TO_KEY, billto_company_name, parameters_return_shipto_key as SHIP_TO_KEY, CASES_SHIPPED, GROSS_SALES, URL FROM GETKEYSSOAP_GETKEYSREALTIME_NN, GLOBAL_SALES_TRAN_NN, BILLTO_DIMENSION, URL_INVOICES WHERE getkeysrealtime_ship_to_number = '13546' and getkeysrealtime_ship_to_number = URL_INVOICES.shipno and ltrim(rtrim(translate(ship_to_number, ' ', x'0a'))) = getkeysrealtime_ship_to_number and parameters_return_billto_key = billto_key and ltrim(rtrim(translate(sales_order_number, ' ', x'0a'))) = URL_INVOICES.orderno;

Один запрос SQL :

? Web Service

? XML Documents

Data Warehouse

Unstructured Data

16

Интегрированный набор инструментов для Dynamic Warehousing

17

Интегрированный набор инструментов для Dynamic Warehousing

18

Introducing IBM Balanced WarehouseTM A fast track to warehousing

Balanced Configuration Unit (BCU) Преконфигурированный, Претестрированный, масштабируемый набор Программного и Аппаратного Обеспечения

Просто Гибко

Оптимально

Простота Предопределенная конфигурация для упрощения комплекса Один номер для поддержки решения

Гибкость при росте Простое Добавление BCUs для увеличивающихся потребностей Надежно, возможность повторного использования для других задач

Оптимизирован для Производительности Преконфигурирован и сертифицирован для предоставления гарантированной производительности Основан на лучших практиках для уменьшения риска

19

Гибридное партиционирование

HASH

999 Machines

32K Partitions

RANGE

MDC

20

Компрессия строк

Без Компресии

SOCKS BLUE DALLAS TEXAS

С Компрессией

Страница с компрессией

Страница без Компрессии

Общая последовательность заменяется на 12 байт

x’01C’

21

DB2 - More Compression Ratios (Customer Data)

Compression Type 32KB Page Count Space Required on Disk No compression 5893888 179.9GB Row compression 1392446 42.5GB % Pages Saved: 76.4%

22

Индустриальные Модели данных

BDW (Banking Data Warehouse)

Финансовые Рынки (Financial Markets Data Warehouse)

Управление Здоровьем (Health Plan Data Warehouse)

Страхование (Insurance Information Warehouse)

Розница (Retail Data Warehouse)

Телекоммуникации (Telecommunications Data Warehouse)

Прибыльность Маркетинг Управление рисками Управление активами пассивами Соответствие Требованиям

Управление Рисками Управление активами пассивами Соответствие требованиям

Заявки Medical management Управление сетью Продажи, маркетинг and membership Финансы

Клиенты Заявки Прибыльность Соответствия требованиям Управления рисками

Клиенты Управление закупками Оптимизация складов Управление цепочкой Соответствие требованиям

Управление оттоком Управление взаимоотношениями Продажи и маркетинг Качество обслуживания Профайл пользователя

23

IBM Industry Data Models: Ключевые компоненты

Модель данных для терминов Словарь бизнес определений для единых определений в рамках организации и индустрии Модель EDW Эта модель определяет как множество источников могут быть консолидированы в единую логическую структуру Проектные представления Логическое подмножество EDW и BSTs для решения конкретной задачи Шаблоны бизнес решений (BST) Набор Key Performance Indicators для создания OLAP кубов, витрин, шаблонов отчетности

24

Фаза планирования

Создание стандартов на данные и их управление Бизнес планирование и развития IT Стабильность проектов

25

Фаза анализа

RDA (Enterprise Model Extender) Выявление Бизнес требований Структурированная по области проблем Определяет область для реализации IT реализации Дополнение Information Analyzer Предоставление необходимого анализа данных

26

Information Analyzer

Business Solution Templates

Analyze Source Data

Создание дизайна

RDA (plus Enterprise Model Extender) Генерация ХД, витрин/кубов Инкрементальная, проектная, корпоративная разработка Трассировка бизнес требований до уровня кода Сравнение, объединение моделей

With EM Extender

27

Rational Data Architect

Enterprise Data Warehouse Model

Business Solution Templates

Create Database Schema

Create OLAP or Data Marts

Фаза реализации

Определение целевых структур Общий глоссарий Инкрементальная разработка без переписывания

28

Analytical Application

Information Server

Enterprise Data Warehouse and Data Marts

Business Glossary

Trusted Data

Анализ требований

29

Introducing IBM OmniFind Analytics Edition

Unstructured analytics framework

Analysis tools

Обширные интерфейсы для объединения структурированных и не структурированных данных Объединение поиска и текстовой аналитики

Original Data

Structured Data

Unstructured data

Call Taker: James Date: Aug. 30, 2002 Duration: 10 min. CustomerID: ADC00123

Linguistic analysis

D: Complained about rejected claim for antibiotics; form req’d more information

Extended Insight

30

Alphablox

Web Application Server

Intranet/ Extranet

Client Browser

Data Mart

Data Mart

IE, Netscape

Data Warehouse

Alphablox

App Server

Relational Database Systems

31

32

Thank You