Прогресс
<<  Роль партнерских отношений (социального партнерства) в развитии научно-технического творчества ГОУ ЦДО «Эврика» Обитатели открытой воды  >>
Б.А. Позин д.т.н., профессор Технический директор ЗАО «ЕС-лизинг»
Б.А. Позин д.т.н., профессор Технический директор ЗАО «ЕС-лизинг»
Б.А. Позин д.т.н., профессор Технический директор ЗАО «ЕС-лизинг»
Б.А. Позин д.т.н., профессор Технический директор ЗАО «ЕС-лизинг»
Какие объемы данных нужны для поддержки принятия решений
Какие объемы данных нужны для поддержки принятия решений
Сколько информации мы теряем
Сколько информации мы теряем
Изменение парадигмы
Изменение парадигмы
Технология IBM Big Data сделала возможным анализ ВСЕХ доступных данных
Технология IBM Big Data сделала возможным анализ ВСЕХ доступных данных
Эффективно управлять и анализировать все доступные данные в их
Эффективно управлять и анализировать все доступные данные в их
Постановка задачи
Постановка задачи
Б.А. Позин д.т.н., профессор Технический директор ЗАО «ЕС-лизинг»
Б.А. Позин д.т.н., профессор Технический директор ЗАО «ЕС-лизинг»
Технология Big Data
Технология Big Data
«Конструктор»: продукты платформы Big Data
«Конструктор»: продукты платформы Big Data
Технологии IBM для использования в проектах Big Data
Технологии IBM для использования в проектах Big Data
Общая схема компонентов платформы Big Data
Общая схема компонентов платформы Big Data
Инструменты Streams Обработка потоковой информации
Инструменты Streams Обработка потоковой информации
Декларативный язык SPL - графическая среда разработки
Декларативный язык SPL - графическая среда разработки
Инструменты BigInsights Анализ «сырых» данных и сокращение затрат на
Инструменты BigInsights Анализ «сырых» данных и сокращение затрат на
Инструменты Data Explorer Средство визуализации, исследования данных и
Инструменты Data Explorer Средство визуализации, исследования данных и
Инструменты Pure Data (Netezza) Повышение скорости анализа и качества
Инструменты Pure Data (Netezza) Повышение скорости анализа и качества
Центр компетенции по IBM Big Data
Центр компетенции по IBM Big Data
Оснащение Центра Компетенции
Оснащение Центра Компетенции
Спасибо за внимание
Спасибо за внимание
Назначение инструментов Streams
Назначение инструментов Streams
Назначение инструментов Streams
Назначение инструментов Streams
Назначение инструментов BigInsights
Назначение инструментов BigInsights
Назначение инструментов BigInsights
Назначение инструментов BigInsights
Назначение инструментов Data Explorer
Назначение инструментов Data Explorer
Назначение инструментов Pure Data (Netezza)
Назначение инструментов Pure Data (Netezza)

Презентация: «Инструменты интеллектуального анализа данных». Автор: Labuser. Файл: «Инструменты интеллектуального анализа данных.ppt». Размер zip-архива: 4275 КБ.

Инструменты интеллектуального анализа данных

содержание презентации «Инструменты интеллектуального анализа данных.ppt»
СлайдТекст
1 Б.А. Позин д.т.н., профессор Технический директор ЗАО «ЕС-лизинг»

Б.А. Позин д.т.н., профессор Технический директор ЗАО «ЕС-лизинг»

Большие данные – горячая тема, потому что технологии сделали возможным анализ ВСЕХ доступных данных при подготовке принятия решений

2 Б.А. Позин д.т.н., профессор Технический директор ЗАО «ЕС-лизинг»
3 Какие объемы данных нужны для поддержки принятия решений

Какие объемы данных нужны для поддержки принятия решений

Эксабайт = 260 =1018 байт = 1024 Петабайт

3

4 Сколько информации мы теряем

Сколько информации мы теряем

4

5 Изменение парадигмы

Изменение парадигмы

Большие данные Итеративность и исследование

Традиционный подход Структурный и повторяемый анализ

Запомнил - обработал

Обработал - запомнил

ИТ Обеспечивает платформу для креативного анализа

Бизнес Определяет что спросить

ИТ Структурирует данные для ответа на вопрос

Бизнес Исследует что можно спросить

Ограничение: производительность

Ограничение: память

Отношение к бренду Стратегия продуктов Оптимизация ресурсов

Месячная отчетность Анализ прибыльности Анализ анкет

5

6 Технология IBM Big Data сделала возможным анализ ВСЕХ доступных данных

Технология IBM Big Data сделала возможным анализ ВСЕХ доступных данных

Подключение любого типа данных с помощью оптимизированных коннекторов и возможности интеграции информации

Платформа Big Data

Стуктурирован-ные данные

Неструктурированные данные

Потоковые данные

7 Эффективно управлять и анализировать все доступные данные в их

Эффективно управлять и анализировать все доступные данные в их

первозданном виде

Social Media

Website

Billing

Network Switches

ERP

CRM

RFID

7

8 Постановка задачи

Постановка задачи

Технология должна обеспечивать Создание из «конструктора» функционально полных прикладных информационно-аналитических систем для исследования больших объемов данных при поддержке принятия решений силами коллективов специалистов в предметной области – аналитиков при поддержке ИТ-специалистов по инструментам Для этого необходимо «Конструктор» - набор высококачественных инструментов для создания приложений по аналитической обработке больших объемов информации в различных областях знаний Возможность создания информационно-аналитических систем в короткие сроки и в пределах бюджета Возможность развития «Конструктора» в процессе накопления опыта и знаний, развития методов анализа и синтеза Возможность накопления знаний и их повторного использования Переносимость инструментальных средств в пределах широкого класса платформ

8

9 Б.А. Позин д.т.н., профессор Технический директор ЗАО «ЕС-лизинг»
10 Технология Big Data

Технология Big Data

Первый шаг очень важен Успех в каждом разделе поддержан продуктами платформы Позволяет построить основу для будущих потребностей и проектов

10

11 «Конструктор»: продукты платформы Big Data

«Конструктор»: продукты платформы Big Data

1 – Найти и получить доступ к большим данным IBM Data Explorer

3 – Упрощение хранилища Netezza

2 – Анализ «сырых» данных InfoSphere BigInsights

5 – Анализ потоковых данных InfoSphere Streams

4 – Сокращение затрат с помощью Hadoop InfoSphere BigInsights

11

12 Технологии IBM для использования в проектах Big Data

Технологии IBM для использования в проектах Big Data

Аналитические пакеты IBM Cognos IBM SPSS Интеграция данных IBM InfoSphere Information Server IBM Change Data Capture Мастер-данные IBM InfoSphere Master Data Management Server Защита баз данных InfoSphere Guardium

IBM Big Data platform InfoSphere Streams InfoSphere BigInsights InfoSphere Data Explorer PureData for Analytics (Netezza) Акселераторы Анализ текстов Акустика Гео-данные Видео Интеллектуальный анализ Предсказательные модели Статистика

12

13 Общая схема компонентов платформы Big Data

Общая схема компонентов платформы Big Data

SPSS (Декларативный язык PMML)

Streams

NZ

DE

Big Ins

Декларативные языки

Готовые средства разработки

Инструменты

Коннекторы

Cognos BI

Языки программирования 3-го поколения: Java, C/C++, Python, Perl

14 Инструменты Streams Обработка потоковой информации

Инструменты Streams Обработка потоковой информации

Декларативный язык: Stream Processing Language (SPL)

Готовые средства разработки (акселераторы разработки): Анализ текстов Телекоммуникационные данные Гео-данные Видео Интеллектуальный анализ Предсказательные модели Статистика Анализ машинных журналов (СПО) Анализ данных из сетей (СПО)

Инструменты: Standard Toolkit Internet Toolkit Database Toolkit Financial Toolkit Data Mining Toolkit Big Data toolkit Text Toolkit

Коннекторы: Netezza Connector Hadoop Connector

Языки программирования 3-го поколения: Java, C/C++, Python, Perl, JavaScript, Ruby и т.д.

Streams

15 Декларативный язык SPL - графическая среда разработки

Декларативный язык SPL - графическая среда разработки

Streams-приложений

Создание приложений с помощью «перетаскивания» операторов Палитра готовых операторов Графика и исходный код на SPL автоматически синхронизируются

16 Инструменты BigInsights Анализ «сырых» данных и сокращение затрат на

Инструменты BigInsights Анализ «сырых» данных и сокращение затрат на

хранение

Декларативные языки: Annotation Query Language (AQL), JaQL (Query Language for JSON (JavaScript Object Notation)), Pig Latin, HiveQL, R

Средства и инструменты обработки: Flume Hive Lucene Zookeeper Avro HBase HCatalog Sqoop Oozie

Коннекторы: Netezza Connector Streams Connector

Языки программирования 3-го поколения: Java, C/C++

BigInsights

17 Инструменты Data Explorer Средство визуализации, исследования данных и

Инструменты Data Explorer Средство визуализации, исследования данных и

обработки текстов

Декларативные языки: не используются

Средства разработки и обработки : Application Builder Search Engine

Коннекторы: Framework Connector (30 источников, включая Streams и BigInsights) Mature Connector

Data Explorer

18 Инструменты Pure Data (Netezza) Повышение скорости анализа и качества

Инструменты Pure Data (Netezza) Повышение скорости анализа и качества

структурированных данных

Декларативные языки: SQL, nz/PLSQL

Библиотеки: ESRI/OpenGIS nzMatrix

Коннекторы: Hadoop Connector Streams Connector

Языки программирования 3-го поколения: Java, C / C++, FORTRAN, nzLua, Python, Ruby, JavaScript, Perl, и тд.

Pure Data (Netezza)

19 Центр компетенции по IBM Big Data

Центр компетенции по IBM Big Data

Основные задачи Центра

Приглашаем заинтересованные организации к сотрудничеству

Совместный центр компетенции ЕС-лизинг, IBM и Банка России Целью создания Центра Компетенции явилась необходимость обеспечения освоения технологии IBM Big Data специалистами Банка России и организациями банковского сектора, с использованием возможностей стендового оборудования, программного обеспечения и специалистов ЕС-лизинг при поддержке IBM по планам, согласованным с организациями – потенциальными заказчиками и на основе постановок задач, формируемых заказчиками

Освоение инструментальных средств IBM Big Data Освоение декларативных языков и методик программирования реальных задач на этих языках Создание учебных курсов для освоения платформы IBM Big Data

20 Оснащение Центра Компетенции

Оснащение Центра Компетенции

Все программные продукты платформы IBM Big Data

20

21 Спасибо за внимание

Спасибо за внимание

Вопросы?

22 Назначение инструментов Streams

Назначение инструментов Streams

Декларативные языки

Декларативные языки

Языки программирования 3-го поколения

Языки программирования 3-го поколения

Коннекторы

Коннекторы

Акселераторы разработки

Акселераторы разработки

Stream Processing Language (SPL)

Используется для разработки приложений обработки потоковых данных

Java, C / C++, python, ruby, javascript, perl, и тд.

Используются в Streams для программирования операторов. Язык должен уметь работать со стандартным вводом/выводом

Netezza Connector

Позволяет писать и читать данные из Netezza

Hadoop Connector

Позволяет писать и читать данные из Hadoop

Анализ текстов

Набор инструментальных средств, которые могут быть использованы для ускорения разработки Заказчиком задач анализа данных разных типов в том виде, в котором они поступают за счет встроенных алгоритмов обработки информации

Набор инструментальных средств, которые могут быть использованы для ускорения разработки Заказчиком задач анализа данных разных типов в том виде, в котором они поступают за счет встроенных алгоритмов обработки информации

Набор инструментальных средств, которые могут быть использованы для ускорения разработки Заказчиком задач анализа данных разных типов в том виде, в котором они поступают за счет встроенных алгоритмов обработки информации

Набор инструментальных средств, которые могут быть использованы для ускорения разработки Заказчиком задач анализа данных разных типов в том виде, в котором они поступают за счет встроенных алгоритмов обработки информации

Набор инструментальных средств, которые могут быть использованы для ускорения разработки Заказчиком задач анализа данных разных типов в том виде, в котором они поступают за счет встроенных алгоритмов обработки информации

Набор инструментальных средств, которые могут быть использованы для ускорения разработки Заказчиком задач анализа данных разных типов в том виде, в котором они поступают за счет встроенных алгоритмов обработки информации

Набор инструментальных средств, которые могут быть использованы для ускорения разработки Заказчиком задач анализа данных разных типов в том виде, в котором они поступают за счет встроенных алгоритмов обработки информации

Набор инструментальных средств, которые могут быть использованы для ускорения разработки Заказчиком задач анализа данных разных типов в том виде, в котором они поступают за счет встроенных алгоритмов обработки информации

Набор инструментальных средств, которые могут быть использованы для ускорения разработки Заказчиком задач анализа данных разных типов в том виде, в котором они поступают за счет встроенных алгоритмов обработки информации

Телекоммуникационные данные

Гео-данные

Видео

Интеллектуальный анализ

Предсказательные модели

Статистика

Анализ машинных журналов

Анализ данных из сетей

23 Назначение инструментов Streams

Назначение инструментов Streams

Toolkits

Toolkits

Standard Toolkit

Стандартный набор операторов, который поставляется вместе со Streams

Internet Toolkit

Оператор для извлечения данных из URL источника. Поддерживаемые типы источника HTTP, HTTPS, HTTP через RSS, RSS через HTTPS, FTP, FTPS, и файл

Database Toolkit

Набор операторов SPL, которые позволяют легко интегрировать с внешними системами данных

Financial Toolkit

Набор финансовых адаптеров для упрощения интеграции Streams c обычно используемыми протоколами и технологиями в финансовой сфере

Data Mining Toolkit

Содержит алгоритмы интеллектуального анализа данных. Алгоритмы используют стандарт PMML

Big Data toolkit

Набор адаптеров, который позволяет взаимодействовать (читать и писать) операторам Streams с HDFS

Text Toolkit

Содержит оператор для запуска AQL запросов по текстовому документу и плагины для развития AQL запросов

24 Назначение инструментов BigInsights

Назначение инструментов BigInsights

Декларативные языки

Декларативные языки

Коннекторы

Коннекторы

Языки программирования 3-го поколения

Языки программирования 3-го поколения

Annotation Query Language (AQL)

Язык, который используется для обработки неструктурированного теста

JaQL (Query Language for JSON (JavaScript Object Notation) )

Функциональный язык запросов для выполнения функций фильтрации, объединения и группировки JSON-данных. Можно создавать пользовательские функции для использования в исполняемых выражениях

Pig Latin

Язык платформы Pig для создания MapReduce приложений.

HiveQL

Язык, который используется в Hadoop в качестве языка запросов

R

Язык, который используется для статистической обработки данных (статистического анализа)

Netezza Connector

Позволяет писать и читать данные из Netezza

Streams Connector

Позволяет писать и читать данные из Streams

Java, C / C++

Используется в BigInsights для создания приложений

25 Назначение инструментов BigInsights

Назначение инструментов BigInsights

Средства и инструменты обработки

Средства и инструменты обработки

Flume

Средство, которое позволяет собирать данные с удаленных компьютеров

Hive

Средство, реализующее операции извлечения-преобразования-загрузки (ETL) в дополнение к анализу больших наборов данных, хранящихся в Распределенной Файловой Системе Hadoop (HDFS). Оно позволяет преобразовывать SQL-запросы в язык запросов JaQL и исполнять MapReduce-процедуры. InfoSphere BigInsights включает JDBC-драйвера, которые можно использовать для программирования с Hive и для подключения к программному обеспечению Cognos Business Intelligence

Lucene

Это Jaql модуль, который позволяет создавать, сканировать и запрашивать Lucene индексы

Zookeeper

Это централизованная служба Apache для сохранения информации о конфигурации, наименования, обеспечение распределенной синхронизации, а также предоставление группы услуг

Avro

Это фреймворк для сериализации и десереализации данных.

HBase

Приложение HBase позволяет экспортировать строки данных из таблицы HBase через консоль InfoSphere BigInsights

HCatalog

Служба управления хранение данных в Hadoop

Sqoop

Используется для перемещения данных между BigInsights InfoSphere распределенной файловой системы и реляционными системами управления базами данных

Oozie

Менеджер управления задач Apache Hadoop

26 Назначение инструментов Data Explorer

Назначение инструментов Data Explorer

Средства обработки и разработки

Средства обработки и разработки

Коннекторы

Коннекторы

Application Builder

Средство, которое позволяет строить настраиваемые веб-панели, предоставляющие пользователям интерфейс к источникам, которые Data Explorer может сканировать и индексировать

Search Engine

Средство, которое производит обработку информации (извлечение, индексацию, конвертацию)

Connector Framework

Поддерживает более 30 часто используемых источников данных, включая CRM системы, архивы электронных почт, а также Streams и BigInsights.

Mature Connector

Используется для создания дополнительных коннекторов к собственным источникам данных.

27 Назначение инструментов Pure Data (Netezza)

Назначение инструментов Pure Data (Netezza)

Декларативные языки

Декларативные языки

Языки программирования 3-го поколения

Языки программирования 3-го поколения

Библиотеки

Библиотеки

Коннекторы

Коннекторы

SQL, nz/PLSQL

Используется для написания запросов для работы и администрирования Netezza

Java, C / C++, FORTRAN, nzlua, python, ruby, javascript, perl, и тд.

Эти языки являются частью IBM NETEZZA ANALYTICS. Назначение этого инструмента - дать возможность разработчикам расширить набор функций и средств для обработки данных в Netezza.

ESRI/OpenGIS

Библиотека предназначена упростить задачи, связанные с геопространственным анализом.

nzMatrix

Библиотека предназначена упростить задачи, связанные с работой с матрицами

Streams Connector

Позволяет писать и читать данные из Streams

Hadoop Connector

Позволяет писать и читать данные из Hadoop

«Инструменты интеллектуального анализа данных»
http://900igr.net/prezentacija/filosofija/instrumenty-intellektualnogo-analiza-dannykh-210834.html
cсылка на страницу
Урок

Философия

20 тем
Слайды
900igr.net > Презентации по философии > Прогресс > Инструменты интеллектуального анализа данных