Графическая информация
<<  Развитие графических навыков у детей с ограниченными возможностями здоровья Виды графических изображений  >>
Поиск похожих изображений
Поиск похожих изображений
Зачем это нужно
Зачем это нужно
1. Фильтрация пользовательского контента (1)
1. Фильтрация пользовательского контента (1)
Кулинарный форум вегетарианцев
Кулинарный форум вегетарианцев
Кулинарный форум вегетарианцев
Кулинарный форум вегетарианцев
Кулинарный форум вегетарианцев
Кулинарный форум вегетарианцев
Кулинарный форум вегетарианцев
Кулинарный форум вегетарианцев
1. Фильтрация пользовательского контента (2)
1. Фильтрация пользовательского контента (2)
2. Поиск товаров в интернет-магазине
2. Поиск товаров в интернет-магазине
3. Приложения дополненной реальности
3. Приложения дополненной реальности
Другие применения
Другие применения
Что человек понимает под похожими изображениями
Что человек понимает под похожими изображениями
Поиск дубликатов
Поиск дубликатов
Поиск дубликатов
Поиск дубликатов
Поиск дубликатов
Поиск дубликатов
Пирамиды изображений
Пирамиды изображений
Что человек понимает под похожими изображениями
Что человек понимает под похожими изображениями
Визуально схожие изображения
Визуально схожие изображения
Признаки изображения
Признаки изображения
Гистограммы яркостей
Гистограммы яркостей
Гистограммы цветов
Гистограммы цветов
Гистограммы
Гистограммы
Пирамиды гистограмм
Пирамиды гистограмм
Метод выделения признаков «мешок слов»
Метод выделения признаков «мешок слов»
Локальные особенности
Локальные особенности
Углы как локальные особенности
Углы как локальные особенности
Размер особенностей
Размер особенностей
Размер особенностей (2)
Размер особенностей (2)
Дескриптор точки
Дескриптор точки
Дескриптор SIFT
Дескриптор SIFT
Применение SIFT
Применение SIFT
Поиск изображений по базе
Поиск изображений по базе
Реализация
Реализация
Материалы
Материалы
Вопросы
Вопросы

Презентация: «Поиск похожих изображений». Автор: Chaos. Файл: «Поиск похожих изображений.ppt». Размер zip-архива: 3428 КБ.

Поиск похожих изображений

содержание презентации «Поиск похожих изображений.ppt»
СлайдТекст
1 Поиск похожих изображений

Поиск похожих изображений

Сравнение изображений

Вячеслав Колбасин

2 Зачем это нужно

Зачем это нужно

3 1. Фильтрация пользовательского контента (1)

1. Фильтрация пользовательского контента (1)

Востребована везде, где пользователи могут размещать свои изображения Особенно если владелец сайта отвечает за добавленное пользователями содержимое Надо проверять, что изображение не оскорбляет общественную мораль не содержит запрещенной законом символики не нарушает политику сайта, авторские права и психическое здоровье пользователей сайта

4 Кулинарный форум вегетарианцев

Кулинарный форум вегетарианцев

Есть кулинарный форум вегетарианцев с интернет-магазином Пользователи могут оставлять рецепты и изображения получившихся блюд Задача – защитить ресурс от размещения рецептов и картинок, неподобающего содержания Тексты можно фильтровать по словам, но что делать с фотографиями? Что мы понимаем под неподобающим содержанием?

Фруктовый плов Для приготовления фруктового плова необходимы: - 2 стакана риса; - 100 грамм сухофруктов; ……………………………. ……………………………. Через 30 минут у меня получился замечательный продукт:

Что здесь может быть неподобающего ?

5 Кулинарный форум вегетарианцев

Кулинарный форум вегетарианцев

Есть кулинарный форум вегетарианцев с интернет-магазином Пользователи могут оставлять рецепты и изображения получившихся блюд Задача – защитить ресурс от размещения рецептов и картинок, неподобающего содержания Тексты можно фильтровать по словам, но что делать с фотографиями? Что мы понимаем под неподобающим содержанием?

Фруктовый плов Для приготовления фруктового плова необходимы: - 2 стакана риса; - 100 грамм сухофруктов; ……………………………. ……………………………. Через 30 минут у меня получился замечательный продукт:

1. Спам

Новый семинар: Проблемы и решения вывода денег в Нигерию в свете новинок законодательства Телефон для записи : 80-44-03

6 Кулинарный форум вегетарианцев

Кулинарный форум вегетарианцев

Есть кулинарный форум вегетарианцев с интернет-магазином Пользователи могут оставлять рецепты и изображения получившихся блюд Задача – защитить ресурс от размещения рецептов и картинок, неподобающего содержания Тексты можно фильтровать по словам, но что делать с фотографиями? Что мы понимаем под неподобающим содержанием?

Фруктовый плов Для приготовления фруктового плова необходимы: - 2 стакана риса; - 100 грамм сухофруктов; ……………………………. ……………………………. Через 30 минут у меня получился замечательный продукт:

2. Неприемлемые картинки

7 Кулинарный форум вегетарианцев

Кулинарный форум вегетарианцев

Есть кулинарный форум вегетарианцев с интернет-магазином Пользователи могут оставлять рецепты и изображения получившихся блюд Задача – защитить ресурс от размещения рецептов и картинок, неподобающего содержания Тексты можно фильтровать по словам, но что делать с фотографиями? Что мы понимаем под неподобающим содержанием?

Фруктовый плов Для приготовления фруктового плова необходимы: - 2 стакана риса; - 100 грамм сухофруктов; ……………………………. ……………………………. Через 30 минут у меня получился замечательный продукт:

3. Неприемлемые объекты на картинках

8 1. Фильтрация пользовательского контента (2)

1. Фильтрация пользовательского контента (2)

Для каждого изображения надо проверить: Есть ли оно в базе запрещенных изображений Встречаются ли в нем запрещенные изображения Технически требуется Выделить на изображении ключевые объекты Возможно придется сегментировать изображение Найти в базе запрещенных изображений картинки, похожие на ключевые объекты и на саму картинку

9 2. Поиск товаров в интернет-магазине

2. Поиск товаров в интернет-магазине

У пользователя есть фотография нравящегося ему предмета (куртки) и он хочет найти его в нашем магазине

Технически надо найти по базе фотографий товаров наиболее похожие изображения и отобразить связанные с ними страницы сайта

10 3. Приложения дополненной реальности

3. Приложения дополненной реальности

Пользователь фотографирует на смартфон объект, например здание, и просит показать информацию по нему Смартфон пересылает на сервер изображение и примерные координаты пользователя Система по ключевым точкам ищет наиболее похожие фотографии в базе и возвращает информацию по ним

Госпром (укр. Держпром) — Дом Государственной промышленности, построенный на центральной площади города Харькова — площади Дзержинского (с 1996 года — площадь Свободы). Памятник архитектуры в стиле конструктивизм, символ данного стиля. (и далее описание из Wikipedia)

11 Другие применения

Другие применения

Фотосток Проверка авторства изображения Поиск по изображениям фотостока нет ли такого же изображения с иными пропорциями, удаленными частями, измененными цветами и другими изменениями Автоматическая классификация фотографий Сравнение, на какое из типовых изображений больше всего похоже данное Поиск похожего изображения, но с приемлемой лицензией Нужна фотография офиса визуально похожая на найденную в сети, но под свободной лицензией Медицинские изображения По заданной рентгенограмме найти другие рентгенограммы, которые с диагностической точки зрения похожи на данную То есть, имеющие аналогичные особенности

12 Что человек понимает под похожими изображениями

Что человек понимает под похожими изображениями

Изображения (сцены) определенных классов Фильтрация контента Изображения (сцены), содержащие объекты заданных классов Фильтрация контента Медицинские изображения Изображения (сцены), содержащие объекты из заданного набора Дополненная реальность Обнаружение номеров машин Визуально похожие изображения Поиск в интернет-магазине Поиск по фотостоку Идентичные изображения Фотосток, проверка дубликатов

Схожие по смыслу изображения

Визуально схожие изображения

13 Поиск дубликатов

Поиск дубликатов

(1)

У одинаковых изображений отличие между точками мало Выразим отличие как среднеквадратичное отклонение (СКО): Причем СКО неоднозначная мера – эти изображения отличаются от оригинала примерно одинаково

14 Поиск дубликатов

Поиск дубликатов

(2)

Что можно улучшить ? Дополнить СКО учетом свойства маскировки разной чувствительности глаза к разным частотам восприятие человеком цвета (пространство Lab) Изображения сравнили, а как насчет поиска? Сравниваем искомое изображение со всеми в базе! Поиск будет очень ресурсоемким и долгим Какова будет релевантность поиска ? Что будет, если изображение в базе будет немного сдвинуто? А если мы изменим его цвет? А если немного изменим пропорции?

15 Поиск дубликатов

Поиск дубликатов

(3)

Чтобы повысить скорость сравнения можно уменьшить размер сравниваемых изображений Но до какого предела? Человек приемлемо распознает изображения размера 32*32 и 64*64 на черно-белых изображениях Что делаем: Переводим в градации серого Яркость нормируем Все изображения масштабируем к квадрату 1024 байт на изображение ? - все равно много!

A. Torralba, R. Fergus, W. T. Freeman. 80 million tiny images: a large dataset for non-parametric object and scene recognition, 2008

16 Пирамиды изображений

Пирамиды изображений

Будем постепенно увеличивать размер изображения Отберем изображения размера 4*4 Потом из них выберем самые похожие размера 8*8 И так далее Так быстрее, но все равно полный перебор

Ошибки при существенно изменении пропорций изображения метод непосредственно применим только для поиска дубликатов

17 Что человек понимает под похожими изображениями

Что человек понимает под похожими изображениями

Изображения (сцены) определенных классов Фильтрация контента Изображения (сцены), содержащие объекты заданных классов Фильтрация контента Медицинские изображения Изображения (сцены), содержащие объекты из заданного набора Дополненная реальность Обнаружение номеров машин Визуально похожие изображения Поиск в интернет-магазине Поиск по фотостоку Идентичные изображения Фотосток, проверка дубликатов

Схожие по смыслу изображения

Визуально схожие изображения

18 Визуально схожие изображения

Визуально схожие изображения

Изображения, из которых получили образец Изменены пропорции Часть изображения удалена Изменен цвет Изображения, похожие на образец Картинка зрительно похожа, совпадение объектов на ней не проверяется

19 Признаки изображения

Признаки изображения

Сравнивать попиксельно – неэффективно, нужны общие признаки изображения По ним и будем вести поиск Что может быть признаком Яркость точек Цвет точек Типовые фрагменты изображения («слова») Локальные особенности изображения Как сравнивать признаки? Сравнивать гистограммы признаков Сравнивать локализацию признаков на изображении

20 Гистограммы яркостей

Гистограммы яркостей

Переводим изображения в градации серого и строим гистограмму яркостей точек Далее гистограммы квантуем для уменьшения числа столбцов и сравниваем между собой

21 Гистограммы цветов

Гистограммы цветов

Переводим изображения в цветовое пространство Lab и строим гистограмму распределения компонент а, b Можно привести цвета изображения к палитре с малым числом цветов и строить гистограмму по ней

22 Гистограммы

Гистограммы

Для сравнения гистограмм можно По столбцам вычесть одну гистограмму из другой Посчитать сколько перемещений потребуется, чтобы превратить одну гистограмму в другую Недостатки гистограмм Признаки слишком общие и такие два изображения будут считаться одинаковыми

23 Пирамиды гистограмм

Пирамиды гистограмм

Чтобы добавить пространственного разрешения разделим изображение на части и будем для каждой из них строить гистограмму

Уровень 0

Уровень 1

Уровень 2

А. Конушин. Лекции по компьютерному зрению МГУ

24 Метод выделения признаков «мешок слов»

Метод выделения признаков «мешок слов»

Адаптация метода анализа текстов, использующего набор слов текста, без учета синтаксических особенностей Как работает Выделяем на изображении типовые фрагменты Считаем частоту их встречаемости Это и есть дескриптор изображений Что считать типовым фрагментом Часто зависит от обучающей выборки Как правило – получаются примитивы восприятия изображения ? (Fei-Fei, Perona – 2005)

25 Локальные особенности

Локальные особенности

Надо ли рассматривать все изображение для сравнения? Нет, обычно достаточно посмотреть на несколько хорошо различимых точек Характеристические точки Локальные особенности Как определить эти области? Их должно быть меньше числа пикселей на изображении Область должна быть локальной Область должна быть значимой (при сдвиге области результат сравнения должен изменяться) Как сравнить изображения по областям? Найти схожие области на двух изображениях Найти преобразование, которое их совмещает Посмотреть, удалось ли эти точки совместить Если да, сравнить содержимое точек

26 Углы как локальные особенности

Углы как локальные особенности

Что здесь можно выбрать как локальную особенность ? Где окно можно сдвинуть так, чтобы изображение внутри него осталось неизменным?

Координаты углов можно определить детектором Харриса C. Harris, M. Stephens “A Combined Corner and Edge detector” // Proc. of 4th Alvey Vision Conference, p. 147-151, 1988

Окно анализа можем сдвигать в любом направлении

Окно анализа можем сдвигать вдоль линии

Окно анализа не можем сдвигать никуда

27 Размер особенностей

Размер особенностей

Особенности детектора Нечувствителен к повороту изображения Частично чувствителен к изменению яркости Чувствителен к изменению масштаба Угол в одном масштабе – линия в другом Как определить размер особенности? Выбрать радиус так, чтобы особенность помещалась целиком Обработать изображение фильтром, выделяющим края Выбрать масштаб, чтобы отклик фильтра от двух краев накладывался

Source: S. Lazebnik

28 Размер особенностей (2)

Размер особенностей (2)

Свертываем изображение с фильтром разного масштаба Смотрим, на каком масштабе будет максимум отклика

Можно ускорить используя метод Difference of Gaussian D. Lowe “Distinctive image features from scale-invariant keypoints”, 2004 Выделение особенностей Выделяем точки детектором Харриса Находим размер методом Difference of Gaussian

Source: S. Lazebnik

29 Дескриптор точки

Дескриптор точки

Дескриптор должен быть инвариантен к повороту Используем градиенты пикселей Для характеристической области Определим доминантное направление градиента, Повернем область так, чтобы градиент был направлен в одну сторону Приведем область к стандартному размеру Строим дескриптор

30 Дескриптор SIFT

Дескриптор SIFT

Вычислим градиент в каждой точке Квантуем ориентации градиентов по 8-ми направлениям Строим гистограмму направления градиентов Можем разделить область сеткой 4х4 для учета локальных особенностей Итого: 16 (4х4) ячеек В каждой гистограмма 8 напралений = 128 элементов

D. Lowe. Distinctive Image Features from Scale-Invariant Keypoints, 2004

31 Применение SIFT

Применение SIFT

Cравнение дескрипторов двух изображений Сравнение взаимного расположения дескрипторов на двух изображениях Поиск зоны интереса на изображении

Слесарев и др. Яндекс на РОМИП 2010: Поиск похожих изображений и дубликатов, 2010

32 Поиск изображений по базе

Поиск изображений по базе

Для ускорения поиска можно использовать kD-мерные деревья (kD-trees) Кластеризация + «инвертированный» индекс по дескриптору Locality Sensitive Hashing Спектральное хеширование Увы… не сегодня

33 Реализация

Реализация

Библиотека OpenCV Де-факто стандарт в области обработки изображений и компьютерного зрения Свободная лицензия Написана на С++, но портирована на Java, C#, Python Ограничено поддерживает использование GPU Очень хорошо документирована VLFeat Более специализированная библиотека для анализа изображений Написана на С++, есть интерфейс к Matlab Нет поддержки работы с устройствами видеозахвата

34 Материалы

Материалы

Замечательные курсы по компьютерному зрению и обработке изображений МГУ им. Ломоносова http://courses.graphicon.ru/main/ Книга Richard Szeliski. Computer Vision: Algorithms and Applications. http://szeliski.org/Book/ Материалы по OpenCV http://locv.ru – Русский перевод книги Learning OpenCV http://opencv.org – сайт библиотеки

35 Вопросы

Вопросы

«Поиск похожих изображений»
http://900igr.net/prezentacija/informatika/poisk-pokhozhikh-izobrazhenij-158505.html
cсылка на страницу
Урок

Информатика

130 тем
Слайды