Без темы
<<  Полотно мира Поречье - край диковинный  >>
Получение и фильтрация карт глубин
Получение и фильтрация карт глубин
Современный 3D-контент Карты глубин
Современный 3D-контент Карты глубин
Содержание
Содержание
Карты глубин Способы получения
Карты глубин Способы получения
Карты глубин Способы получения
Карты глубин Способы получения
Карты глубин Способы получения
Карты глубин Способы получения
Карты глубин Способы получения
Карты глубин Способы получения
Карты глубин Способы получения
Карты глубин Способы получения
Карты глубин Сенсоры глубины
Карты глубин Сенсоры глубины
Карты глубин Недостатки сенсоров глубины (1)
Карты глубин Недостатки сенсоров глубины (1)
Карты глубин Недостатки сенсоров глубины (2)
Карты глубин Недостатки сенсоров глубины (2)
Карты глубин Недостатки сенсоров глубины (3)
Карты глубин Недостатки сенсоров глубины (3)
Содержание
Содержание
ME: Блоки 4х4 4 модификации кадров
ME: Блоки 4х4 4 модификации кадров
ME: Блоки 4х4 4 модификации кадров
ME: Блоки 4х4 4 модификации кадров
ME: Блоки 4х4 4 модификации кадров
ME: Блоки 4х4 4 модификации кадров
ME: Блоки 4х4 4 модификации кадров
ME: Блоки 4х4 4 модификации кадров
ME: Блоки 4х4
ME: Блоки 4х4
ME: Блоки 4х4 Алгоритм
ME: Блоки 4х4 Алгоритм
ME: Блоки 4х4 Алгоритм
ME: Блоки 4х4 Алгоритм
ME: Блоки 4х4 Алгоритм
ME: Блоки 4х4 Алгоритм
ME: Блоки 4х4 Алгоритм
ME: Блоки 4х4 Алгоритм
MEFunction8x8(cur_frame, prev_frame, temp_vectors); // without shift
MEFunction8x8(cur_frame, prev_frame, temp_vectors); // without shift
ME: Блоки 4х4 Результат
ME: Блоки 4х4 Результат
ME: Блоки 4х4 Результат
ME: Блоки 4х4 Результат
ME: Упрощение шаблона
ME: Упрощение шаблона
ME: Упрощение шаблона Результат
ME: Упрощение шаблона Результат
ME: Упрощение шаблона Результат
ME: Упрощение шаблона Результат
ME: Кандидаты
ME: Кандидаты
ME: Кандидаты Результат
ME: Кандидаты Результат
ME: Кандидаты Результат
ME: Кандидаты Результат
Содержание
Содержание
Карты глубин Фильтрация
Карты глубин Фильтрация
Пространственная Введение в линейную фильтрацию
Пространственная Введение в линейную фильтрацию
Пространственная Введение в линейную фильтрацию
Пространственная Введение в линейную фильтрацию
Пространственная Введение в линейную фильтрацию
Пространственная Введение в линейную фильтрацию
Пространственная Введение в линейную фильтрацию
Пространственная Введение в линейную фильтрацию
Пространственная Билатеральная фильтрация
Пространственная Билатеральная фильтрация
Пространственная Билатеральная фильтрация глубины
Пространственная Билатеральная фильтрация глубины
Пространственная Билатеральная фильтрация глубины
Пространственная Билатеральная фильтрация глубины
Пространственная Билатеральная фильтрация: результат
Пространственная Билатеральная фильтрация: результат
Пространственная Билатеральная фильтрация
Пространственная Билатеральная фильтрация
Пространственная Результаты
Пространственная Результаты
Пространственная Результаты
Пространственная Результаты
Пространственная Результаты
Пространственная Результаты
Пространственная Результаты
Пространственная Результаты
Пространственная Результаты
Пространственная Результаты
Пространственная Результаты
Пространственная Результаты
Пространственная Результаты
Пространственная Результаты
Временная фильтрация Схема работы
Временная фильтрация Схема работы
Временная фильтрация Spatio-Temporal Filtering
Временная фильтрация Spatio-Temporal Filtering
Временная фильтрация Spatio-Temporal Filtering
Временная фильтрация Spatio-Temporal Filtering
Временная фильтрация Результаты
Временная фильтрация Результаты
Временная фильтрация Сравнение
Временная фильтрация Сравнение
Временная фильтрация Сравнение
Временная фильтрация Сравнение
Временная фильтрация Сравнение
Временная фильтрация Сравнение
Временная фильтрация Сравнение
Временная фильтрация Сравнение
Временная фильтрация Сравнение
Временная фильтрация Сравнение
Конец лекции 4
Конец лекции 4

Презентация на тему: «Получение и фильтрация карт глубин». Автор: . Файл: «Получение и фильтрация карт глубин.pptx». Размер zip-архива: 8330 КБ.

Получение и фильтрация карт глубин

содержание презентации «Получение и фильтрация карт глубин.pptx»
СлайдТекст
1 Получение и фильтрация карт глубин

Получение и фильтрация карт глубин

Дмитрий Ватолин Video Group CS MSU Graphics & Media Lab

2 Современный 3D-контент Карты глубин

Современный 3D-контент Карты глубин

Многокамерные системы – слишком дорогостоящий инструмент создания 3D Альтернатива – создание 3D-контента из 2D Основной шаг – вычисление пространственного представления сцены Для этого строятся карты глубины кадров

2

3 Содержание

Содержание

Способы получения карт глубины Карты глубин (задание) Фильтрация карт глубины

3

4 Карты глубин Способы получения

Карты глубин Способы получения

Ручная разметка кадров

4

Исходный рисунок - http://retouchpro.com

5 Карты глубин Способы получения

Карты глубин Способы получения

Автоматические способы с использованием depth cues

5

CS MSU Graphics & Media Lab (Video Group)

6 Карты глубин Способы получения

Карты глубин Способы получения

Автоматические способы с использованием depth cues

6

CS MSU Graphics & Media Lab (Video Group)

7 Карты глубин Способы получения

Карты глубин Способы получения

Автоматические способы с использованием depth cues

7

CS MSU Graphics & Media Lab (Video Group)

8 Карты глубин Способы получения

Карты глубин Способы получения

Автоматические способы с использованием сенсоров глубины

8

http://userpage.fu-berlin.de/~latotzky/wheelchair/?p=58

9 Карты глубин Сенсоры глубины

Карты глубин Сенсоры глубины

Microsoft Kinect: Разрешение 640?480 Разрешение камеры глубины: 320?240 30 fps Планируемое обновление (Kinect 2.0): Разрешение 1920?1080 Разрешение камеры глубины: 512?424 30 fps

9

http://www.microsoft-careers.com/go/Kinect-for-Windows/308299/

10 Карты глубин Недостатки сенсоров глубины (1)

Карты глубин Недостатки сенсоров глубины (1)

Отсутствие информации о глубине для некоторых точек Случайный шум Различие глубины для точек одного уровня Нестабильность во времени Сильный шум на границах объектов

10

11 Карты глубин Недостатки сенсоров глубины (2)

Карты глубин Недостатки сенсоров глубины (2)

Цветное изображение

Карта глубины Информация о глубине для красных областей отсутствует

11

M. Camplani, L. Salgado, and G. de Imagenes, “Efficient spatio-temporal hole filling strategy for Kinect depth maps,” SPIE, 2012

12 Карты глубин Недостатки сенсоров глубины (3)

Карты глубин Недостатки сенсоров глубины (3)

Улучшение качества карты глубины с сенсора: Качественная обработка областей перекрытия Фильтрация карты глубины во времени Существующие методы: Cross-Bilateral Filtering Weighted Mode Filtering Graph-Based Filtering

12

13 Содержание

Содержание

Способы получения карт глубины Карты глубин (задание) Фильтрация карт глубины

13

14 ME: Блоки 4х4 4 модификации кадров

ME: Блоки 4х4 4 модификации кадров

Исходный без изменений

14

CS MSU Graphics & Media Lab (Video Group)

15 ME: Блоки 4х4 4 модификации кадров

ME: Блоки 4х4 4 модификации кадров

Сдвиг вправо на 4 пикселя

15

CS MSU Graphics & Media Lab (Video Group)

16 ME: Блоки 4х4 4 модификации кадров

ME: Блоки 4х4 4 модификации кадров

Сдвиг вправо и вниз на 4 пикселя

16

CS MSU Graphics & Media Lab (Video Group)

17 ME: Блоки 4х4 4 модификации кадров

ME: Блоки 4х4 4 модификации кадров

Сдвиг вниз на 4 пикселя

17

CS MSU Graphics & Media Lab (Video Group)

18 ME: Блоки 4х4

ME: Блоки 4х4

Запуск ME8х8 для каждой из модификаций кадров Запись полученных векторов для соответствующих блоков

18

19 ME: Блоки 4х4 Алгоритм

ME: Блоки 4х4 Алгоритм

Левый верхний блок 4х4: MEFunction8x8(cur_frame, prev_frame, temp_vectors); for (each vector in temp_vectors) { MEVectors[i*2*num_blocks_4x4_hor + 2*j] = temp_vectors[i*num_blocks_8x8_hor + j]; }

19

20 ME: Блоки 4х4 Алгоритм

ME: Блоки 4х4 Алгоритм

Правый верхний блок 4х4: 4PixelShiftHor(cur_frame, cur_shifted); 4PixelShiftHor(prev_frame, prev_shifted); MEFunction8x8(cur_shifted, prev_shifted, temp_vectors); for (each vector in temp_vectors) { MEVectors[i*2*num_blocks_4x4_hor + 2*j + 1] = temp_vectors[i*num_blocks_8x8_hor + j]; }

20

21 ME: Блоки 4х4 Алгоритм

ME: Блоки 4х4 Алгоритм

Правый нижний блок 4х4: 4PixelShiftHorVert(cur_frame, cur_shifted); 4PixelShiftHorVert(prev_frame, prev_shifted); MEFunction8x8(cur_shifted, prev_shifted, temp_vectors); for (each vector in temp_vectors) { MEVectors[(i+1)*2*num_blocks_4x4_hor + 2*j + 1] = temp_vectors[i*num_blocks_8x8_hor + j]; }

21

22 ME: Блоки 4х4 Алгоритм

ME: Блоки 4х4 Алгоритм

Левый нижний блок 4х4: 4PixelShiftVert(cur_frame, cur_shifted); 4PixelShiftVert(prev_frame, prev_shifted); MEFunction8x8(cur_shifted, prev_shifted, temp_vectors); for (each vector in temp_vectors) { MEVectors[(i+1)*2*num_blocks_4x4_hor + 2*j] = temp_vectors[i*num_blocks_8x8_hor + j]; }

22

23 MEFunction8x8(cur_frame, prev_frame, temp_vectors); // without shift

MEFunction8x8(cur_frame, prev_frame, temp_vectors); // without shift

for (each vector in temp_vectors) MEVectors[i*2*num_blocks_4x4_hor + 2*j] = temp_vectors[i*num_blocks_8x8_hor + j]; 4PixelShiftHor(cur_frame, cur_shifted); 4PixelShiftHor(prev_frame, prev_shifted); MEFunction8x8(cur_shifted, prev_shifted, temp_vectors); // shift 4 pixels right for (each vector in temp_vectors) MEVectors[i*2*num_blocks_4x4_hor + 2*j + 1] = temp_vectors[i*num_blocks_8x8_hor + j]; 4PixelShiftHorVert(cur_frame, cur_shifted); 4PixelShiftHorVert(prev_frame, prev_shifted); MEFunction8x8(cur_shifted, prev_shifted, temp_vectors); // shift 4 pixels right-down for (each vector in temp_vectors) MEVectors[(i+1)*2*num_blocks_4x4_hor + 2*j + 1] = temp_vectors[i*num_blocks_8x8_hor + j]; 4PixelShiftVert(cur_frame, cur_shifted); 4PixelShiftVert(prev_frame, prev_shifted); MEFunction8x8(cur_shifted, prev_shifted, temp_vectors); // shift 4 pixels down for (each vector in temp_vectors) MEVectors[(i+1)*2*num_blocks_4x4_hor + 2*j] = temp_vectors[i*num_blocks_8x8_hor + j];

23

24 ME: Блоки 4х4 Результат

ME: Блоки 4х4 Результат

Depth 4x4 blocks full search (0.04 fps)

24

CS MSU Graphics & Media Lab (Video Group)

25 ME: Блоки 4х4 Результат

ME: Блоки 4х4 Результат

Original frame

25

CS MSU Graphics & Media Lab (Video Group)

26 ME: Упрощение шаблона

ME: Упрощение шаблона

Ограничение на движение камеры – только горизонтальное параномирование Ограничиваем шаблон поиском по горизонтали

26

27 ME: Упрощение шаблона Результат

ME: Упрощение шаблона Результат

Depth 4x4 blocks simple template (1.55 fps)

27

CS MSU Graphics & Media Lab (Video Group)

28 ME: Упрощение шаблона Результат

ME: Упрощение шаблона Результат

Original frame

28

CS MSU Graphics & Media Lab (Video Group)

29 ME: Кандидаты

ME: Кандидаты

Ограничение на движение камеры – только горизонтальное параномирование Движение равномерное поступательное – использование соседних блоков в качестве кандидатов становится эффективней

29

30 ME: Кандидаты Результат

ME: Кандидаты Результат

Depth 4x4 blocks candidates (2.71 fps)

30

CS MSU Graphics & Media Lab (Video Group)

31 ME: Кандидаты Результат

ME: Кандидаты Результат

Original frame

31

CS MSU Graphics & Media Lab (Video Group)

32 Содержание

Содержание

Способы получения карт глубины Карты глубин (задание) Фильтрация карт глубины

32

33 Карты глубин Фильтрация

Карты глубин Фильтрация

Даже при ручной разметке кадров возникают неточности карты глубины: «Картонки» (отсутствие рельефа и объема) Неправильные границы Несогласованность глубины соседних кадров

33

Burazerovic et al., “Automatic depth profiling of 2d cinema- and photographic images”, ICIP 2009

34 Пространственная Введение в линейную фильтрацию

Пространственная Введение в линейную фильтрацию

Применение линейного оператора свертки к изображению – замена пикселя взвешенным средним по окрестности Веса определяют ядро свертки – числовую матрицу

34

35 Пространственная Введение в линейную фильтрацию

Пространственная Введение в линейную фильтрацию

f – изображение M*N, g – ядро K*L Свертка f с помощью g – изображение (f * g):

35

36 Пространственная Введение в линейную фильтрацию

Пространственная Введение в линейную фильтрацию

Поведение на границе:

Черный фон

Зеркалирование

Дублирование

36

37 Пространственная Введение в линейную фильтрацию

Пространственная Введение в линейную фильтрацию

Фильтр Гаусса: Веса в ядре рассчитываются из нормального распределения N(0, ?2) Параметры фильтрации – размер ядра d, дисперсия ?2 Эмпирически – d ~ 6?

37

38 Пространственная Билатеральная фильтрация

Пространственная Билатеральная фильтрация

Билатеральная – два параметра для расчета весов Веса исходного фильтра Гаусса модифицируем с учетом цветовой разницы центрального пикселя и пикселя окрестности

38

39 Пространственная Билатеральная фильтрация глубины

Пространственная Билатеральная фильтрация глубины

D(x, y) – глубина точки (x, y) i(x, y) – цвет точки (x, y) ? – область ядра свертки ?s – параметр пространственного усреднения ?c – параметр цветового усреднения

39

40 Пространственная Билатеральная фильтрация глубины

Пространственная Билатеральная фильтрация глубины

for (each pixel in image) { sum = koef = 0; for (each neighbour_pixel in kernel window) { cur_koef = gaus_weight(cur_pixel.pos, neighbour_pixel.pos, sigma_spatial) * gaus_weight(cur_pixel.value, neighbour_pixel.value, sigma_color); sum += neighbour_pixel.value * cur_koef; koef += cur_koef; } new_pixel.value = sum / koef; }

40

41 Пространственная Билатеральная фильтрация: результат

Пространственная Билатеральная фильтрация: результат

Фильтрация карты глубины на основе исходного кадра

41

Burazerovic et al., “Automatic depth profiling of 2d cinema- and photographic images”, ICIP 2009

42 Пространственная Билатеральная фильтрация

Пространственная Билатеральная фильтрация

Сглаживание глубины ровных по цвету областей Подчеркивание разницы на цветовых границах

42

Burazerovic et al., “Automatic depth profiling of 2d cinema- and photographic images”, ICIP 2009

43 Пространственная Результаты

Пространственная Результаты

Original

43

CS MSU Graphics & Media Lab (Video Group)

44 Пространственная Результаты

Пространственная Результаты

Filtered

44

CS MSU Graphics & Media Lab (Video Group)

45 Пространственная Результаты

Пространственная Результаты

Original

45

CS MSU Graphics & Media Lab (Video Group)

46 Пространственная Результаты

Пространственная Результаты

Filtered

46

CS MSU Graphics & Media Lab (Video Group)

47 Пространственная Результаты

Пространственная Результаты

47

CS MSU Graphics & Media Lab (Video Group)

48 Пространственная Результаты

Пространственная Результаты

Original

48

CS MSU Graphics & Media Lab (Video Group)

49 Пространственная Результаты

Пространственная Результаты

Filtered

49

CS MSU Graphics & Media Lab (Video Group)

50 Временная фильтрация Схема работы

Временная фильтрация Схема работы

Сглаживание изменения глубины во времени Нормализация, устранение «мерцания» Удаление «артефактов»

50

51 Временная фильтрация Spatio-Temporal Filtering

Временная фильтрация Spatio-Temporal Filtering

Пиксель определяется тремя координатами – (x, y, t) положение в пространстве и времени Рассматриваем окрестность по всем трем координатам, с учетом компенсации движения

51

52 Временная фильтрация Spatio-Temporal Filtering

Временная фильтрация Spatio-Temporal Filtering

for (each pixel in cur_frame) { sum = koef = 0; for (each neighbour_pixel in kernel window) { for (each neighbour_frame in temporal window) { cur_koef = gaus_weight(cur_pixel.pos, neighbour_pixel.pos, sigma_spatial) * gaus_weight(cur_pixel.value, neighbour_pixel.value, sigma_color) * gaus_weight(cur_frame.count, neighbour_frame.count, sigma_temporal); sum += neighbour_pixel.value * cur_koef; koef += cur_koef; } } new_pixel.value = sum / koef; }

52

53 Временная фильтрация Результаты

Временная фильтрация Результаты

53

CS MSU Graphics & Media Lab (Video Group)

54 Временная фильтрация Сравнение

Временная фильтрация Сравнение

54

CS MSU Graphics & Media Lab (Video Group)

55 Временная фильтрация Сравнение

Временная фильтрация Сравнение

Original

55

CS MSU Graphics & Media Lab (Video Group)

56 Временная фильтрация Сравнение

Временная фильтрация Сравнение

Spatial

56

CS MSU Graphics & Media Lab (Video Group)

57 Временная фильтрация Сравнение

Временная фильтрация Сравнение

Spatio-temporal

57

CS MSU Graphics & Media Lab (Video Group)

58 Временная фильтрация Сравнение

Временная фильтрация Сравнение

Original

58

CS MSU Graphics & Media Lab (Video Group)

59 Конец лекции 4

Конец лекции 4

«Получение и фильтрация карт глубин»
http://900igr.net/prezentacija/geografija/poluchenie-i-filtratsija-kart-glubin-88866.html
cсылка на страницу
Урок

География

196 тем
Слайды
900igr.net > Презентации по географии > Без темы > Получение и фильтрация карт глубин