Работа с базами данных
<<  Spss data entry как делать Resource Management in Virtualization-based Data Centers  >>
BIG DATA Новый вызов
BIG DATA Новый вызов
Рост цифровых данных и доступной памяти
Рост цифровых данных и доступной памяти
Прогноз роста данных до 2015 года
Прогноз роста данных до 2015 года
Обвал данных
Обвал данных
Новый взгляд – старые принципы
Новый взгляд – старые принципы
В информационно-аналитической АИС получение аналитического
В информационно-аналитической АИС получение аналитического
Словосочетание Большие Данные появилось в конце 1990-ых среди ученых,
Словосочетание Большие Данные появилось в конце 1990-ых среди ученых,
К середине 2000-ых проводились интенсивные исследования Больших Данных
К середине 2000-ых проводились интенсивные исследования Больших Данных
Файл-ориентированного подхода Hadoop оказалось недостаточно,
Файл-ориентированного подхода Hadoop оказалось недостаточно,
Традиционные данные составляют меньше чем 10% цифровой информации,
Традиционные данные составляют меньше чем 10% цифровой информации,
Стратегия IBM Big Data : приблизить аналитику к данным
Стратегия IBM Big Data : приблизить аналитику к данным
Более умная аналитика
Более умная аналитика
BIG DATA Новый вызов
BIG DATA Новый вызов
BIG DATA Новый вызов
BIG DATA Новый вызов
Watson – взгляд изнутри
Watson – взгляд изнутри
2002
2002
Эффективно с точки зрения затрат управлять и анализировать все
Эффективно с точки зрения затрат управлять и анализировать все
Общая схема компонентов платформы Big Data Всего около 900 «кирпичей»
Общая схема компонентов платформы Big Data Всего около 900 «кирпичей»
Современная схема принятия решений: Что делают люди
Современная схема принятия решений: Что делают люди
Угрозы и проблемы
Угрозы и проблемы
Угрозы и проблемы
Угрозы и проблемы
Угрозы и проблемы
Угрозы и проблемы
Сокращение отставания СССР в области информатизации
Сокращение отставания СССР в области информатизации
Отечественные аналоги
Отечественные аналоги
Что делать
Что делать

Презентация: «BIG DATA Новый вызов». Автор: VBudzko. Файл: «BIG DATA Новый вызов.ppt». Размер zip-архива: 11905 КБ.

BIG DATA Новый вызов

содержание презентации «BIG DATA Новый вызов.ppt»
СлайдТекст
1 BIG DATA Новый вызов

BIG DATA Новый вызов

Будзко В.И. заместитель директора по научной работе Института проблем информатики РАН, д.т.н., член-корреспондент Академии криптографии РФ

“В ближайшие 5 лет все компании на рынке разделятся на победителей и побежденных в зависимости от качества их аналитики” Вирджиния Рометти - IBM CEO 2 марта 2012 года

2 Рост цифровых данных и доступной памяти

Рост цифровых данных и доступной памяти

3 Прогноз роста данных до 2015 года

Прогноз роста данных до 2015 года

4 Обвал данных

Обвал данных

Каждый день в мире производится 2,5 квинтильона (1018) байтов данных. 90% данных созданы за последние два года. Каждый час Wal-Mart совершает 1 миллион сделок, пополняя базу данных на 2,5 петабайта (1015)- в 170 раз больше объема данных Библиотеки Конгресса США. Объем отправлений, доставляемых американской Почтовой службой за один год, равен 5 петабайтам, а Google обрабатывает такой же объем данных всего за один час. Суммарный объем всей существующей на земле информации составляет несколько больше одного зеттабайта (1021).

5 Новый взгляд – старые принципы

Новый взгляд – старые принципы

В какой степени доступные данные отражают реальное состояние моделируемой предметной области? Полнота. Насколько правильно данные описывают предметную область? Точность. Система высокой доступности данных: доступные данные достаточной полноты и точности обработаны и вовремя получен аналитический продукт. (Своевременный отбор данных и своевременное получение аналитического продукта)

Выявление (discovery), отбор (discrimination), переработка (distillation), доведение в нужном представлении (delivery/dissemination).

6 В информационно-аналитической АИС получение аналитического

В информационно-аналитической АИС получение аналитического

информационного продукта возможно только при использовании структурированных данных. Если для решения аналитической задачи требуется привлечь неструктурированные или слабо структурированные данные, то требуется разработать средство их преобразования в структуру. После преобразования речи в текст по тексту определяется смысловое содержание сказанного и преобразовывается в некоторый структурированный формат.

7 Словосочетание Большие Данные появилось в конце 1990-ых среди ученых,

Словосочетание Большие Данные появилось в конце 1990-ых среди ученых,

у которых отсутствовала возможность сохранить или проанализировать огромные и возрастающие данные, произведенные все более и более сложными цифровыми технологическими средствами, применяемыми при решении задач физики элементарных частиц, экономики, климатологии, астрофизики.

8 К середине 2000-ых проводились интенсивные исследования Больших Данных

К середине 2000-ых проводились интенсивные исследования Больших Данных

в таких компаниях как Google, Yahoo, Amazon и Netflix, в которые поступали возрастающие объемы данных из Web. Google разработал в 2004 году структуры MapReduce. В 2008 году в результате исполнения проекта Apache была реализована система Hadoop (как общедоступное изделие) для параллельной обработки больших файлов в одном пакете. Hadoop, использует структуру MapReduce и файловую систему, чтобы действовать как хранилище данных.

9 Файл-ориентированного подхода Hadoop оказалось недостаточно,

Файл-ориентированного подхода Hadoop оказалось недостаточно,

требовалась функция базы данных. NoSQL решения BigTable Google в 2006 и разработка Amazon Dynamo – в 2007 стали первыми реализациями в этом направлении. Общедоступные продукты - Amazon SimpleDB, Cassandra, MongoDB и Terrastore. Маркетологи вендоров аппаратного и программного обеспечения начали перемаркировывать многие продукты и решения на Большие Данные. Реляционные и другие традиционные подходы обработки бросались в "общий котел".

10 Традиционные данные составляют меньше чем 10% цифровой информации,

Традиционные данные составляют меньше чем 10% цифровой информации,

которой управляет бизнес

11 Стратегия IBM Big Data : приблизить аналитику к данным

Стратегия IBM Big Data : приблизить аналитику к данным

IBM Big Data Platform

Новые аналитические приложения выдвигают требования к платформе big data: Объединять и управлять всем разнообразием (Variety), скоростью (Velocity) и объемом (Volume), достоверностью (Veracity) и обоснованностью (Validity) данных Применять передовую аналитику к информации в ее исходной форме Визуализировать все доступные данные для специального анализа Среда проектирования для создания новых аналитических приложений Оптимизация рабочей нагрузки и планирование Безопасность и управление

BI / Reporting

12 Более умная аналитика

Более умная аналитика

!!

Analytic Accelerators Designed for Variety

Простые и сложные тексты

Акустика

Ускоренный data mining

Прогнозы

Статистика

Изображения и видео

Геоаналитика

Продвинутые математические модели

Text (listen, verb), (radio, noun)

13 BIG DATA Новый вызов
14 BIG DATA Новый вызов
15 Watson – взгляд изнутри

Watson – взгляд изнутри

Cores x 20 + 1 = 57600 + 2880 = 60480 On Oncology Task

Технологии IBM

Системные спецификации

2880 Processing Cores

Content Analytics

Интеллектуальность

90 IBM P750 Servers

Business Analytics

16 Terabytes Memory (RAM) – 20TB Disk

Big Data

80 Teraflops (80 trillion operations per second)

Информируемость

Databases / Data Warehouses

Workload Optimized Systems

16 2002

2002

1. Любые виды источников

IBM получает заказ на разработку технологии:

2. Любая скорость потока данных от источника

3. Принятие решения – в потоке (миллисекунды)

17 Эффективно с точки зрения затрат управлять и анализировать все

Эффективно с точки зрения затрат управлять и анализировать все

доступные данные, в их первозданном виде – структурированные, неструктурированные, потоковые

Большие данные – горячая тема, потому что технологии сделали возможным анализ ВСЕХ доступных данных

Social Media

Website

Billing

17

Network Switches

ERP

CRM

RFID

18 Общая схема компонентов платформы Big Data Всего около 900 «кирпичей»

Общая схема компонентов платформы Big Data Всего около 900 «кирпичей»

SPSS (Декларативный язык PMML)

Streams

NZ

DE

Big Ins

Декларативные языки

Готовые средства разработки

Инструменты

Коннекторы

Cognos BI

Языки программирования 3-го поколения: Java, C/C++, Python, Perl

19 Современная схема принятия решений: Что делают люди

Современная схема принятия решений: Что делают люди

Big Data

Цифровая реальность

Подтверждение решения

Область интересов

Принятие решения

Задания интегральной инфо потребности

Детализация области интересов

Обсуждение области интересов

Поиск в области интересов

Креативная команда

Обучение в области интересов

20 Угрозы и проблемы

Угрозы и проблемы

Отставание: кадры, подготовка кадров, технологическая платформа, постановка задач, и пр.

Только МО США ежегодно выделяет на исследования в области Больших данных 300 млн. долларов. Big Data –национальная программа США.

21 Угрозы и проблемы

Угрозы и проблемы

Доступность наших источников: Интернет, социальные сети (Twitter, Faceook, Одноклассники и пр). Основатель социальной сети Facebook Марк Цукерберг – 15 млрд. долларов мобильные телефоны, планшеты, смартфоны и пр. облачные вычисления и хранилища, технологические достижения в открытой публикации или по эл почте, и пр.

22 Угрозы и проблемы

Угрозы и проблемы

Отсутствие наработок по информационнойбезопасности Больших данных. Огромный объем «неведанного» ПО, даже в открытых кодах, затрудняет выполнение соответствующих исследований.

23 Сокращение отставания СССР в области информатизации

Сокращение отставания СССР в области информатизации

1968 год. Письмо Дородницина в ЦК. Решение по ЕС ЭВМ. Инициатива М.Р. Шура-Бура и В.К. Левина о построении ЕС ЭВМ, программно совместимой с IBM/360. 1972 год. Решение Ю.В. Андропова 1973-1975 годы. Работа коллектива специалистов (КГБ, МО, НИЦЭВТ, НИИ "Восход", НИИАА под вывеской МНИИПИ АСУ ГХ) по освоению продуктов IBM на площадке ОКБА Минхимпром

24 Отечественные аналоги

Отечественные аналоги

Продукт IBM (прототип)

Отечественный аналог

Исполнитель

IMS/360

Ока

Ницэвт

CICS

Кама

Ницэвт

OS/360

Ос/ес

Ницэвт

GIS

Унис

Центр Программ Систем

Позднее НИИ «Восход» выпустил аналог ADABAS – ДИСОД НИИАА выпустил аналог IDMS - СЕТЬ Катализатор повышения профессионализма. Собственные разработки.

25 Что делать

Что делать

Учиться, учиться, учиться…

Спасибо за внимание

«BIG DATA Новый вызов»
http://900igr.net/prezentacija/informatika/big-data-novyj-vyzov-262442.html
cсылка на страницу

Работа с базами данных

11 презентаций о работе с базами данных
Урок

Информатика

130 тем
Слайды