Зрение
<<  Бесценный дар – зрение 8 класс физика на зрение  >>
Проблемы технического зрения в современных авиационных системах
Проблемы технического зрения в современных авиационных системах
Технологии машинного зрения в авиационных системах оборонного
Технологии машинного зрения в авиационных системах оборонного
Общая структура систем C4I
Общая структура систем C4I
Комплексирование информации от датчиков различной физической природы
Комплексирование информации от датчиков различной физической природы
Информационные потоки ЛА начала XXI века
Информационные потоки ЛА начала XXI века
Функциональные задачи самолетов XXI века в новых условиях
Функциональные задачи самолетов XXI века в новых условиях
Авиационные системы, требующие анализа изображений
Авиационные системы, требующие анализа изображений
Главные направления развития технического зрения в системах управления
Главные направления развития технического зрения в системах управления
DS-4x-65K955 Поток данных 100 MHz, размер пиксела 10 mkm, частота 955
DS-4x-65K955 Поток данных 100 MHz, размер пиксела 10 mkm, частота 955
Интеллектуальные камеры (INCA 6+, 250000 pps)
Интеллектуальные камеры (INCA 6+, 250000 pps)
Фреймграбберы и специализированные средства обработки изображений
Фреймграбберы и специализированные средства обработки изображений
Рост быстродействия процессоров
Рост быстродействия процессоров
Вывод: основной сдерживающий фактор интеллектуализации систем
Вывод: основной сдерживающий фактор интеллектуализации систем
Основные технологические проблемы, требующие разработки новых
Основные технологические проблемы, требующие разработки новых
Самокалибровка – установление точной метрической связи между датчиком
Самокалибровка – установление точной метрической связи между датчиком
Автоматическая самоориентация датчика в сцене
Автоматическая самоориентация датчика в сцене
Обнаружение объектов в сцене наблюдения-ключевая задача машинного
Обнаружение объектов в сцене наблюдения-ключевая задача машинного
Недостаточность классических схем обнаружения
Недостаточность классических схем обнаружения
(
(
Основной современный подход к задаче обнаружения и распознавания –
Основной современный подход к задаче обнаружения и распознавания –
Характерные элементы (черты), используемые в иерархических алгоритмах
Характерные элементы (черты), используемые в иерархических алгоритмах
Свойства (атрибуты) характерных черт
Свойства (атрибуты) характерных черт
Примеры атрибутов характерных черт
Примеры атрибутов характерных черт
Критерии выбора ХЧ и их атрибутов для построения алгоритмов
Критерии выбора ХЧ и их атрибутов для построения алгоритмов
Обобщённый метод объединения свидетельств – базовый подход к созданию
Обобщённый метод объединения свидетельств – базовый подход к созданию
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Пример автоматического обнаружения зданий с летательного аппарата
Окончательная модель
Окончательная модель
Пример работы алгоритма наведения
Пример работы алгоритма наведения
Планирование авиационной операции
Планирование авиационной операции
Реконструкция поверхностей и обнаружение трехмерных структур,
Реконструкция поверхностей и обнаружение трехмерных структур,
Высокоточное стереоотождествление – ключевая процедура реконструкции
Высокоточное стереоотождествление – ключевая процедура реконструкции
Иерархическое субпиксельное стереоотождествление
Иерархическое субпиксельное стереоотождествление
Пирамидальная обработка
Пирамидальная обработка
Метод субпиксельного уточнения
Метод субпиксельного уточнения
Технология получения ортофотоизображения
Технология получения ортофотоизображения
Комплексирование данных на основе ортофотопланов
Комплексирование данных на основе ортофотопланов
Методы обработки динамических последовательностей изображений
Методы обработки динамических последовательностей изображений
Комплексирование ДРФП
Комплексирование ДРФП
Экспериментальные съемки ДРФП
Экспериментальные съемки ДРФП
Экспериментальные съемки ДРФП
Экспериментальные съемки ДРФП
Структура систем обработки информации ДРФП
Структура систем обработки информации ДРФП
Структура систем обработки информации ДРФП
Структура систем обработки информации ДРФП
Типы данных для многозональной платформы обработки данных
Типы данных для многозональной платформы обработки данных
Комплексирование на уровне объектов
Комплексирование на уровне объектов
Архитектура программного обеспечения для анализа изображений и ДРФП
Архитектура программного обеспечения для анализа изображений и ДРФП
Этапы разработки системы обработки изображений ДРФП
Этапы разработки системы обработки изображений ДРФП
Фрейм-ориентированное программирование (ФОП)
Фрейм-ориентированное программирование (ФОП)
Фреймовое визуальное программирование
Фреймовое визуальное программирование
Фреймовый интерфейс пользователя
Фреймовый интерфейс пользователя
Пример интерфейса системы обработки информации ДРФП (1995)
Пример интерфейса системы обработки информации ДРФП (1995)
Системы улучшенного видения для самолетов гражданской авиации
Системы улучшенного видения для самолетов гражданской авиации
Функции EVS
Функции EVS
Устройства визуализации
Устройства визуализации
Стандарты на разработку EVS
Стандарты на разработку EVS
Стандарты на разработку EVS
Стандарты на разработку EVS
Стандарты на разработку EVS
Стандарты на разработку EVS
EVS первого поколения
EVS первого поколения
EVS первого поколения
EVS первого поколения
EVS первого поколения
EVS первого поколения
EVS первого поколения
EVS первого поколения
EVS первого поколения
EVS первого поколения
EVS следующего поколения
EVS следующего поколения
Назначение и функции СТЗ
Назначение и функции СТЗ
Аппаратное обеспечение СТЗ
Аппаратное обеспечение СТЗ
Программно-алгоритмическое обеспечение СТЗ
Программно-алгоритмическое обеспечение СТЗ
Ключевые моменты разработки СТЗ
Ключевые моменты разработки СТЗ
Примеры
Примеры
Проблемы и методы
Проблемы и методы
Комплексирование ДРФП
Комплексирование ДРФП
Комплексирование на пиксельном уровне
Комплексирование на пиксельном уровне
Комплексирование на пиксельном уровне
Комплексирование на пиксельном уровне
Комплексирование на пиксельном уровне
Комплексирование на пиксельном уровне
Комплексирование на пиксельном уровне
Комплексирование на пиксельном уровне
Комплексирование на пиксельном уровне
Комплексирование на пиксельном уровне
Обнаружение ВПП
Обнаружение ВПП
Преобразование Хафа
Преобразование Хафа
Преобразование Хафа в окне
Преобразование Хафа в окне
Преобразование Хафа в окне
Преобразование Хафа в окне
Преобразование Хафа
Преобразование Хафа
Приниципы обнаружения препятствий на ВПП
Приниципы обнаружения препятствий на ВПП
Метод сведения задачи 3-D обнаружения к 2-D задаче
Метод сведения задачи 3-D обнаружения к 2-D задаче
Получение модели подстилающей поверхности (пример дорожной сцены)
Получение модели подстилающей поверхности (пример дорожной сцены)
V-структуры являются основным признаком 3d-объекта
V-структуры являются основным признаком 3d-объекта
Результат применения 2D алгоритмов обнаружения
Результат применения 2D алгоритмов обнаружения
Архитектура программного обеспечения для анализа ДРФП
Архитектура программного обеспечения для анализа ДРФП
Элементы интерфейса системы обработки информации ДРФП (2010)
Элементы интерфейса системы обработки информации ДРФП (2010)
Элементы интерфейса системы обработки информации ДРФП (2010)
Элементы интерфейса системы обработки информации ДРФП (2010)
Элементы интерфейса системы обработки информации ДРФП (2010)
Элементы интерфейса системы обработки информации ДРФП (2010)
Спасибо за внимание
Спасибо за внимание

Презентация на тему: «Прямоугольник наблюдение 2 класс 21 век». Автор: Alex. Файл: «Прямоугольник наблюдение 2 класс 21 век.ppt». Размер zip-архива: 11815 КБ.

Прямоугольник наблюдение 2 класс 21 век

содержание презентации «Прямоугольник наблюдение 2 класс 21 век.ppt»
СлайдТекст
1 Проблемы технического зрения в современных авиационных системах

Проблемы технического зрения в современных авиационных системах

ИКИ РАН, 16 марта 2010 г.

Генеральный директор ФГУП «ГосНИИАС», д.т.н., член-корреспондент РАН Желтов С.Ю. Нач. лаб. ФГУП «ГосНИИАС», д.ф.-м.н., с.н.с. Визильтер Ю.В.

2 Технологии машинного зрения в авиационных системах оборонного

Технологии машинного зрения в авиационных системах оборонного

назначения

2

3 Общая структура систем C4I

Общая структура систем C4I

Системы, данные, службы/сети связанные с изображениями и географическими координатами

С4I – «нервная система» военной структуры с целью эффективного использования «мускульной силы» военной структуры, т.е. оружия, платформ носителей и войск

( Система командования, управления связи, вычислительной техники и разведки)

Географическая поддержка

Разведка, управление, целеуказание

Наземная разведка

Космические и авиационные платформы получения данных

Планирование операций, моделирование, навигация, управление движением

4 Комплексирование информации от датчиков различной физической природы

Комплексирование информации от датчиков различной физической природы

Космоснимки

Авиаснимки

ИК-данные

Видео

Лазерные системы

Радары

5 Информационные потоки ЛА начала XXI века

Информационные потоки ЛА начала XXI века

Переключательная сеть

Интегрированные ВС

2,5 млрд. Бит/с

Иуп

Интегрированные ВС обработки сигналов

ВС верхнего уровня (СЕИ, ЭС, БЗ)

Самолетные системы

150 МБ/с

25 млрд. оп/с + 19 млрд. пт./с, 170 Мбайт

2 млрд. оп./с, 45 Мбайт

500 Мбит/с

Оптоэлектронные и тепловизионные датчики

1800 Мбит/с

Датчики РЛС и РЭП

100 Мбит/с

Датчики ИС и госопознавания

6 Функциональные задачи самолетов XXI века в новых условиях

Функциональные задачи самолетов XXI века в новых условиях

Обеспечение быстрой и помехоустойчивой передачи объемных данных

Обеспечение высоко оперативного целеуказания

Подготовка данных для АСП

Обеспечение высокой точности навигационных систем

Обеспечение сверх большой дальности боевого применения

Обеспечение всепогодности выполнения боевой задачи

Обеспечение малой заметности

Обеспечение высокой точности самонаведения

7 Авиационные системы, требующие анализа изображений

Авиационные системы, требующие анализа изображений

Системы разведки и целеуказания на базе космических, авиационных и БЛА носителей; Системы подготовки полётных заданий; Высокоточная геопространственная привязка; Высокоточное оружие; Перспективные робототехнические комплексы.

8 Главные направления развития технического зрения в системах управления

Главные направления развития технического зрения в системах управления

Интеллектуализация систем управления, решение новых целевых задач Улучшение характеристик точности и надёжности

Технические предпосылки прогресса

Датчики изображения (тенденции развития)

Совершенствование оборудования для получения цифровых изображений Прогресс в области аппаратных средств обработки изображений

Высокое разрешение Высокая частота кадров Малый размер Интеллектуальные камеры

9 DS-4x-65K955 Поток данных 100 MHz, размер пиксела 10 mkm, частота 955

DS-4x-65K955 Поток данных 100 MHz, размер пиксела 10 mkm, частота 955

fps, размер изображения 260x260 пикселов, 4 выхода Высокая разрешение + высокая частота DS-4x-06M18 Поток данных 160 MHz, размер пиксела 12 mkm, частота 18 fps, размер изображения 3072x2048 пикселов, 4 выхода

Высокое разрешение (CAMELIA 8M)

Высокая частота кадров (DALSA DS-4x-65K955)

Высокое разрешение (до 8 Megapixels) CCD Сенсор большого формата с прогрессивной разверткой Высокая чувствительность и цветопередача 3x12 bit захват и оцифровка Высокое отношение с/ш (>63dB)

10 Интеллектуальные камеры (INCA 6+, 250000 pps)

Интеллектуальные камеры (INCA 6+, 250000 pps)

Предельно большие матрицы Philips, размер изображения 9216х7168 (для сравнения- человеческий глаз –108 колбочек) Миниатюризация датчиков разрешение более 470-ТВЛ Размер 26mm (L) x 12mm (D)

CCD Сенсор высокого разрешения (Kodak MegaPlus series) 16 мегапиксел и больше Интегрированный высокопроизводительный компьютер: 64 MB RAMl Flexible PCMCIA Дистанционное управление вспышкой TTL

11 Фреймграбберы и специализированные средства обработки изображений

Фреймграбберы и специализированные средства обработки изображений

DT2867 фирмы DATATRANSLATION - интегрированный фреймграббер и фреймпроцессор на одной плате Обеспечивает основный функции обработки в реальном времени, Такие как: усреднение, ALU, гистограммы, 3х3 морфологические операторы и др.

Сигнальные процессоры (TEXAS INSTRUMENTS и др.) ПЛИСы специальные архитектуры для параллельной обработки изображений (пример: специализированная платформа MVC 150/40 фирмы IMAGING TECHNOLOGIES) .

12 Рост быстродействия процессоров

Рост быстродействия процессоров

13 Вывод: основной сдерживающий фактор интеллектуализации систем

Вывод: основной сдерживающий фактор интеллектуализации систем

управления с использованием изображений -отставание в разработке алгоритмического обеспечения

14 Основные технологические проблемы, требующие разработки новых

Основные технологические проблемы, требующие разработки новых

алгоритмов машинного зрения для систем управления подвижными объектами.

Самокалибровка датчиков (построение их подробных математических моделей) самоориентация и самопозиционирование; обнаружение и распознавание объектов; обнаружение изменений в сцене наблюдения; слежение за объектами; комплексирование изображений различных спектральных диапазонов; реконструкция поверхностей и обнаружение трехмерных структур, высокоточные измерения элементов сцены.

15 Самокалибровка – установление точной метрической связи между датчиком

Самокалибровка – установление точной метрической связи между датчиком

и сценой

Вектор оцениваемых параметров Параметры внешнего ориентирования Параметры внутреннего ориентирования Координаты тестовой сцены

Ограничение на заданные опорные расстояния

Тестовая сцена с кодированными метками

Модель камеры

Считываемые номера меток

16 Автоматическая самоориентация датчика в сцене

Автоматическая самоориентация датчика в сцене

Необходима пространственная модель стационарной части сцены, что требует:

[Tommaselli, Antonio, 2000]

Устойчивого (робастного) обнаружения элементов - характерных черт сцены наблюдения 3D анализа видимой части сцены Установления координатной системы

17 Обнаружение объектов в сцене наблюдения-ключевая задача машинного

Обнаружение объектов в сцене наблюдения-ключевая задача машинного

зрения

Основное требование к разработке новых алгоритмов обнаружения Увеличение робастности (устойчивости) алгоритмов.

Основные факторы, влияющие на робастность (устойчивость) обнаружения в динамических ситуациях.

Шумовые эффекты; сложный текстурированный фон; эффекты загораживания; искажающие оптические эффекты; эффекты резкой смены освещения; разнообразие или изменчивость самих объектов обнаружения; эффекты изменения среды между сенсорами и объектами наблюдения; несинхронная запись и обработка данных;сбои в компьютерных программах обработки.

18 Недостаточность классических схем обнаружения

Недостаточность классических схем обнаружения

Яркостная сегментация и признаковое описание; корреляционное обнаружение

Не обладают нужным запасом робастности

CURRENT

SPGs

MBTs

APCs

ADUs

19 (

(

)

Исследование аномальных ошибок корреляционного обнаружения

Корреляция: а ? в отсутствие шума; б ? низкий уровень шума; в ? средний уровень шума; г ? высокий уровень шума.

?

?

Случай одного объекта

?

?

-

-

1

b

b

=

P

exp

?

?

P

(h,

x,

r)dhdb

2

?

?

?

?

2

?

?

?

Pextr (h,x,r) – плотность вероятности распределения высоты абсолютного максимума гауссовского процесса х с корреляционной функцией r(u,v). Вероятность аномальных ошибок перепутывания сигнального отклика с локальным шумовым выбросом корреляционного поля:

+

?

?

a

-

?

b

B – величина отклика объекта, b0 = R(0,0) - максимальное значение автокорреляции объекта, ?2 – дисперсия случайной составляющей.

2

extr

2

0

20 Основной современный подход к задаче обнаружения и распознавания –

Основной современный подход к задаче обнаружения и распознавания –

обнаружение и распознавание объектов, основанное на их структурированных яркостно-геометрических моделях.

Составление яркостно-геометрической конструкции (модели объекта) – неформальный элемент алгоритмизации Поиск и локализация объекта распознавания – формальный элемент алгоритмизации

Схема модельного подхода к обнаружению объектов

Изображения

Сенсоры

Сегментация (выделение) характерных черт

Сцена

Робастные алгоритмы голосования или сопоставления (matching)

Неформальная структурированная яркостно-геометрическая модель объекта

21 Характерные элементы (черты), используемые в иерархических алгоритмах

Характерные элементы (черты), используемые в иерархических алгоритмах

обнаружения

Углы, соединения линий, точки высокой кривизны градиента яркости, центр тяжести области, концы линий, точки экстремальных значений признаков

Прямые или криволинейные структуры, границы областей

Хч

Сегментированные области, специфические формы (эллипсы, прямоугольники и т.д.)

Комбинации ХЧ

Точки

Линии

Области

Структуры

22 Свойства (атрибуты) характерных черт

Свойства (атрибуты) характерных черт

Характерные черты на изображении имеют следующие виды атрибутов: Положение: Концы отрезка, центр отрезка, центр тяжести области, вершины многоугольников; Геометрические атрибуты: Ориентация, длина, кривизна, площадь, периметр, ширина линии, минимальный и максимальный диаметр области, оси симметрии, число и положение особых точек, показатель компактности; Радиометрические атрибуты: Контраст, статистика распределения яркости, знак и величина края, автокорреляция; Текстурные атрибуты: Матрица смежности, показатель однородности, энергия, энтропия, статистика градиентов текстуры, результаты применения текстурных фильтров, моменты; Топологические атрибуты: Связность, соседство, общие точки, пересечение, параллельность, перекрытие, включение; Цветовые/многозональные атрибуты: вектор атрибутов для каждого канала; Динамические атрибуты: атрибуты статических и движущихся объектов; Временные атрибуты: функции изменения атрибутов со временем.

23 Примеры атрибутов характерных черт

Примеры атрибутов характерных черт

‘.’ - Близость; ‘!’ - коллинеарность; ‘=‘ - параллельность; ‘l’- перпендикулярность; ‘<‘ – угол.

Выбранный отрезок Другие линии

Исходная информация

24 Критерии выбора ХЧ и их атрибутов для построения алгоритмов

Критерии выбора ХЧ и их атрибутов для построения алгоритмов

обнаружения

Присутствие/плотность: наличие данных ХЧ на всех используемых изображениях, достаточная плотность ХЧ для покрытия интересующего района; Редкость/Уникальность: редкость конкретной ХЧ на изображении, уникальность ХЧ в окрестности; Инвариантность/Устойчивость: робастность по отношению к геометрическим и радиометрическим искажениям, нечувствительность к шуму; Локализация: возможность точной локализации; Интерпретация: возможность быстрого распознавания и интерпретации; Скорость: время выделения данного класса ХЧ из исходного изображения.

25 Обобщённый метод объединения свидетельств – базовый подход к созданию

Обобщённый метод объединения свидетельств – базовый подход к созданию

алгоритмов обнаружения.

Способы повышения вычислительной эффективности.

строится экспертная вероятностная модель, описывающая связь между особенностями изображения (характерными чертами) и гипотезой о принадлежности объекта заданной яркостно-геометрической модели вероятностная модель используется непосредственно в ходе низкоуровневого анализа изображения каждая обнаруженная особенность изображения (ХЧ) рассматривается как событие, свидетельствующее в пользу гипотезы (ряда гипотез) о наличии и характеристиках искомого объекта (голосование в специальном аккумуляторном пространстве).

Независимое аккумулирование свидетельств декомпозиция вектора параметров модели регистрации S(?)=S'(?')?S"(?") редукция вектора параметров модели регистрации S(?)?S'(?') загрубление модели объекта M ? M'?M

26 Пример автоматического обнаружения зданий с летательного аппарата

Пример автоматического обнаружения зданий с летательного аппарата

исходное изображение

27 Пример автоматического обнаружения зданий с летательного аппарата

Пример автоматического обнаружения зданий с летательного аппарата

Контурный препарат

28 Пример автоматического обнаружения зданий с летательного аппарата

Пример автоматического обнаружения зданий с летательного аппарата

Выделение характерных черт - областей поддержки линеаментов

29 Пример автоматического обнаружения зданий с летательного аппарата

Пример автоматического обнаружения зданий с летательного аппарата

Выделение первичных линеаментов

30 Пример автоматического обнаружения зданий с летательного аппарата

Пример автоматического обнаружения зданий с летательного аппарата

Выделение крупных и/или параллельных линеаментов

31 Пример автоматического обнаружения зданий с летательного аппарата

Пример автоматического обнаружения зданий с летательного аппарата

Фильтрация по размеру

32 Пример автоматического обнаружения зданий с летательного аппарата

Пример автоматического обнаружения зданий с летательного аппарата

Поиск П-образности

33 Пример автоматического обнаружения зданий с летательного аппарата

Пример автоматического обнаружения зданий с летательного аппарата

Окончательная 2D-модель

34 Пример автоматического обнаружения зданий с летательного аппарата

Пример автоматического обнаружения зданий с летательного аппарата

Межкадровое соответствие

35 Окончательная модель

Окончательная модель

36 Пример работы алгоритма наведения

Пример работы алгоритма наведения

37 Планирование авиационной операции

Планирование авиационной операции

Основа: 3-х мерное изображение местности с точной координатной привязкой целей

Планирование за время < 15 мин с процессорной системой на базе Intel Прокладка маршрута Интеграция с системой АСУ ВВС

38 Реконструкция поверхностей и обнаружение трехмерных структур,

Реконструкция поверхностей и обнаружение трехмерных структур,

высокоточные измерения элементов сцены . Основные применения - создание высокоточных метрических геопространственных данных для навигации и наведения ЛА Точная координатная привязка цели Использование стереоскопических демаскирующих факторов для повышения вероятностей распознавания объектов

39 Высокоточное стереоотождествление – ключевая процедура реконструкции

Высокоточное стереоотождествление – ключевая процедура реконструкции

поверхности и обнаружения трёхмерных структур по стереопаре изображений.

Необходимые свойства алгоритма Скорость 1000 точек/секунду и больше Субпиксельность до 1/20-1/50 пиксела

Методы стереосоответствия (matching)

Площадные на основе характерных черт комбинированные

40 Иерархическое субпиксельное стереоотождествление

Иерархическое субпиксельное стереоотождествление

1 Выбор информативных участков эталона для стереоотождествления

2 Стереоотождествление с пиксельной точностью по пирамиде субизображений

3 Стереоотождествление с субпиксельной точностью (субпиксельное уточнение)

Особенности: Использование информативности окрестности точки эталона. При помощи специальных критериев проверяется, является ли данный фрагмент информативным. Если нет, то можно ли изменить размер фрагмента так,чтобы он стал информативным. Обобщение на любую геометрическую форму эталона. Обобщение на априорную значимость точек эталона: следствие-возможность отождествления отдельных точек, линий, областей.

41 Пирамидальная обработка

Пирамидальная обработка

Поиск в реальном времени по пирамидальной структуре с использованием адаптивного субпиксельного шести-параметрического коррелятора.

Пирамида ортоизображений с разным разрешением

Правильная локализация

42 Метод субпиксельного уточнения

Метод субпиксельного уточнения

Где р-вектор параметров искажений

Функция взаимной корреляции

?

?

?

=

x

x

(x,

y,

p

)

=

y

y

(x,

y,

p

)

-

f(x,

y)g(x

,

y

)

N

f

g

=

k(

p

)

-

-

(

f

(x,

y)

N

f

)

(

g

(x

,

y

)

N

g

)

1

1

1

1

1

1

(x,

y)

2

2

1/2

2

2

1/2

1

1

(x,

y)

(x,

y)

43 Технология получения ортофотоизображения

Технология получения ортофотоизображения

Ортофотоплан

Снимок, привязанный к 3-D поверхности, содержит геометрические искажения

Ортотрансформирование -

Цифровая 3D-модель подстилающей поверхности, полученная на предыдущем этапе из автоматического решения задачи стереосоответствия

44 Комплексирование данных на основе ортофотопланов

Комплексирование данных на основе ортофотопланов

Обработанная информация для принятия решений

Изображения с космических и авиа носителей

Накопление и уточнение информации

Селекция движущихся целей

Гис

Идентификация цели и точная привязка

Изображения перспективных датчиков (ИК, ММ и др.)

Данные наземных исследований

Рэр, ртр

Точные координаты цели

45 Методы обработки динамических последовательностей изображений

Методы обработки динамических последовательностей изображений

Использование межкадровой обработки, оптических потоков устранение движений фоновой части сцены оптимальная фильтрация геометрии зон интересов (ROI) для обнаружения объектов в последовательности кадров широкое использование Калмановской фильтрации

46 Комплексирование ДРФП

Комплексирование ДРФП

47 Экспериментальные съемки ДРФП

Экспериментальные съемки ДРФП

Регистрации движущегося объекта на малой дальности (150 м)

Регистрации объекта на средней дальности (300…500 м)

Регистрации объекта на большой дальности (2000 м)

48 Экспериментальные съемки ДРФП

Экспериментальные съемки ДРФП

49 Структура систем обработки информации ДРФП

Структура систем обработки информации ДРФП

Уровни анализа данных

Символьный уровень

Уровень свидетельств

Признаковый уровень

Уровень измерений

50 Структура систем обработки информации ДРФП

Структура систем обработки информации ДРФП

Уровни организации данных

Данные, структурированные во времени

3d-структурированные данные

2d-структурированные данные

Растровые данные

51 Типы данных для многозональной платформы обработки данных

Типы данных для многозональной платформы обработки данных

52 Комплексирование на уровне объектов

Комплексирование на уровне объектов

Параметры обнаружения: k1 - максимальная корреляция объекта с эталонами класса 1; k2 - максимальная корреляция объекта с эталонами класса 2; Sf(1) - нормированная достоверность отнесения объекта к классу 1; Sf(2) - нормированная достоверность отнесения объекта к классу 2; Sf(?) - достоверность того, что объект не относится ни к классу 1, ни к классу 2.

Пример комплексирования:

53 Архитектура программного обеспечения для анализа изображений и ДРФП

Архитектура программного обеспечения для анализа изображений и ДРФП

54 Этапы разработки системы обработки изображений ДРФП

Этапы разработки системы обработки изображений ДРФП

Предварительное исследование свойств типовых изображений; анализ применимости известных методов обработки изображений в данной конкретной задаче; разработка новых алгоритмов; первичная программная реализация новых алгоритмов и качественная проверка их эффективности; окончательная программная или программно-аппаратная реализация алгоритмов.

55 Фрейм-ориентированное программирование (ФОП)

Фрейм-ориентированное программирование (ФОП)

Фреймы - объекты, объединяющие данные, процедуры и линки линки - связи с другими фреймами схема обработки - сеть фреймов сообщения распространяются по линкам между фреймами и определяют порядок "запуска" процедур обработки данных

56 Фреймовое визуальное программирование

Фреймовое визуальное программирование

Создание требуемого числа экземпляров фреймов данных и размещение их в поле рабочего окна фреймов создание требуемого числа экземпляров фреймов обработки и размещение их в поле рабочего окна фреймов настройка связей фреймов обработки с фреймами данных

57 Фреймовый интерфейс пользователя

Фреймовый интерфейс пользователя

Адаптивная настройка меню, справки и подсказки в зависимости от активного фрейма, активного окна и характера выполняемых действий; адаптивная настройка режима ввода/вывода интерактивной векторной графической информации (маркеры, линии, кривые, прямоугольники и т.П.) Во всех необходимых окнах одновременно; проблемно-ориентированная навигация в многооконном интерфейсе.

58 Пример интерфейса системы обработки информации ДРФП (1995)

Пример интерфейса системы обработки информации ДРФП (1995)

59 Системы улучшенного видения для самолетов гражданской авиации

Системы улучшенного видения для самолетов гражданской авиации

59

60 Функции EVS

Функции EVS

1. Системы улучшенной визуализации (Enhanced Vision System - EVS). Формируют улучшенное изображение внешней среды по изображениям с ТВ и ИК каналов и отображают его на ИЛС или МФИ. 2. Системы синтезированного видения (Synthetic Vision System - SVS). Дополнительно визуализируют данные о рельефе, используют БД рельефа местности, аэропортов и объектов ВПП. 3. Системы автоматизированного видения (Automatic Vision System - AVS). Дополнительно автоматизируют обнаружение ВПП при заходе на посадку и посадке, а также обнаружение препятствий при рулежке ЛА на ВПП.

61 Устройства визуализации

Устройства визуализации

HUD/EVS – визуализация на ИЛС. Для крупных авиалайнеров. Airbus A300, A310 (HUD/EVS от компании Kollsman Inc.), Global Express компании Bombardier (HUD/EVS от компании CMC Electronics). MFD/EVS – визуализация на МФИ. Для широкого класса ЛА. Например, система компании Max-Viz Inc сертифицирована для установки как на авиалайнерах класса Boeing 767, так и на небольших вертолетах Bell 206.

62 Стандарты на разработку EVS

Стандарты на разработку EVS

Регулирующие организации Федеральное управление гражданской авиации США (FAA - http://www.faa.gov) Комиссия по радиотехническим средствам для аэронавтики (Radio Technical Commission for Aeronautics – RTCA http://www.rtca.org/) Европейская организация по оборудованию для гражданской авиации (European Organisation for Civil Aviation Equipment – EUROCAE http://www.eurocae.org/)

63 Стандарты на разработку EVS

Стандарты на разработку EVS

Электронное оборудование RTCA DO-254 - Design Assurance Guidance for Airborne Electronic Hardware Программное обеспечение RTCA DO-178B - software Considerations in Airborne Systems and Equipment Certification. Требования по охране окружающей среды RTCA DO-160 - Environmental Conditions and Test Procedures for Airborne Equipment.

64 Стандарты на разработку EVS

Стандарты на разработку EVS

Данные по аэропортам, рельефу и препятствиям RTCA DO-200A / EUROCAE ED-76 – “Standards for Processing Aeronautical Data”. RTCA DO-276A / EUROCAE ED-98A - “User Requirements for Terrain and Obstacle Data”. RTCA DO-272A / EUROCAE ED-99A - “User Requirements for Aerodrome Mapping Information”. RTCA DO-291 / EUROCAE ED-119 - “Interchange Standards for Terrain, Obstacle and Aerodrome Mapping Data”. ICAO Annex 15 Amendment 33, mandate to states for 2010 for Area 1 and Area 2 data – Terrain and Obstacle data. Разрешение На 56 км от ВПП данные о подстилающей поверхности: • шаг сетки - 30 угловых секунд, • разрешение данных по высоте - 30м. На 12 км от ВПП: • шаг сетки — 15 или 6 угловых секунд, • разрешение данных по высоте — 30м.

65 EVS первого поколения

EVS первого поколения

Kollsman All Weather Window/Night Window охлаждаемый ИК-датчик (cooled FLIR), спецвычислитель, дисплей с подогревом, ПО обработки и визуализации изображений.

66 EVS первого поколения

EVS первого поколения

Gulfstream Enhanced Vision System ИК-датчик Kollsman FLIR с сапфировым экраном (специально адаптирован для распознавания ВПП и сигнальных огней в условиях ограниченной видимости). ИЛС компании Honeywell. ПО обработки и визуализации изображений.

67 EVS первого поколения

EVS первого поколения

Max-Viz EVS 2500, EVS 1000 Длинноволновой ИК-датчик – для формирования изображений рельефа и потенциальных препятствий Коротковолновой ИК-датчик – для обнаружения ярких сигнальных огней ВПП.

Логика комплексирования данных

68 EVS первого поколения

EVS первого поколения

Rockwell Collins EVS ИК изображения внешней среды выводятся на дисплей навигационной системы на лобовом стекле HGS®-4000.

69 EVS первого поколения

EVS первого поколения

Большинство представленных на рынке сертифицированных коммерческих систем EVS представляют собой простые неинтеллектуальные системы «датчик-дисплей», обеспечивающие передачу на индикатор в кабине изображения, полученного от ИК или ММ датчика. Лишь некоторые системы представляют возможность визуализации синтезированных географических данных (по данным GPS). Задача полноценного комплексирования и отображения данных, одновременно поступающих от ТВ, ИК, ММ – пока не рассматривается и не решается ни в одной из этих систем. Ни в одной из сертифицированныхкоммерческих систем EVS не рассматривается ни задача автоматического выделения препятствий / распознавания объектов из базы, ни задача стыковки EVS с системой автоматического управления ЛА.

70 EVS следующего поколения

EVS следующего поколения

Задача: Создание авиационной системы EVS, существенно превосходящей EVS предыдущего поколения по набору функций комплексирования и интеллектуальной обработки видеоданных различной физической природы. Состав EVS: система технического зрения (СТЗ), выполняющая операции ввода, комплексирования и обработки многоспектральной видеоинформации; система компьютерной визуализации (СКВ), непосредственно формирующая и представляющая пилоту графические образы закабинной обстановки.

71 Назначение и функции СТЗ

Назначение и функции СТЗ

Назначение: СТЗ предназначена для ввода, обработки и комплексирования многоспектральной видеоинформации с целью формирования в реальном времени растровой и/или векторной оперативной графической информации, представляемой летчику системой улучшенной компьютерной визуализации закабинной обстановки при заходе на посадку, посадке и рулежке по взлетно-посадочной полосе. Функции: регистрация многоспектральной видеоинформации; комплексирование многоспектральной видеоинформации; автоматическая привязка оперативной видеоинформации к априорной информации о закабинной обстановке с учетом имеющихся навигационных данных; автоматическое обнаружение ВПП и других типовых объектов интереса с использованием или в отстутсвие навигационных данных и априорной информации о закабинной обстановке; автоматическое обнаружение препятствий на ВПП.

72 Аппаратное обеспечение СТЗ

Аппаратное обеспечение СТЗ

В состав системы могут входить: телевизионные видеодатчики (ТВ) различного разрешения; инфракрасные (ИК) видеодатчики различных диапазонов; миллиметровые радары (МР); лазерные локаторы (ЛЛ); специализированные бортовые вычислители.

73 Программно-алгоритмическое обеспечение СТЗ

Программно-алгоритмическое обеспечение СТЗ

модули управления видеодатчиками различных диапазонов; модули обмена информацией с другими бортовыми подсистемами; модуль организации информационного обмена, синхронизации захвата и обработки многоспектральных видеоданных; модули раздельной поканальной обработки видеоданных; модуль комплексирования многоспектральной видеоинформации; модуль автоматической привязки оперативной двумерной видеоинформации к априорной двумерной или трехмерной информации с учетом текущих навигационных данных; модули автоматического обнаружения ВПП и других типовых объектов интереса в отсутствие навигационных данных и априорной информации; модуль автоматического обнаружения препятствий на ВПП.

74 Ключевые моменты разработки СТЗ

Ключевые моменты разработки СТЗ

Получение экспериментальных регистраций Создание вспомогательного аппаратного и программного обеспечения Компьютерное моделирование Использование специальных технологий разработки и тестирования модульного программно-алгоритмического обеспечения. Использование на всех этапах разработки реальных видеодатчиков Интеграция и отработка взаимодействия с другими датчиками и системами на борту ЛА

75 Примеры

Примеры

Пример видеорегистрации полета Ролик ФГУП «ПИЦ» Пример моделирования полета Ролик ФГУП «ГосНИИАС» Пример синтеза изображения EVS Ролик ФГУП «ПИЦ»

76 Проблемы и методы

Проблемы и методы

Улучшение изображений в отдельных каналах Комплексная обработка многоспектральных изображений Обнаружение ВПП Обнаружение препятствий на ВПП

77 Комплексирование ДРФП

Комплексирование ДРФП

78 Комплексирование на пиксельном уровне

Комплексирование на пиксельном уровне

Исходные изображения в видимом и ИК диапазоне

79 Комплексирование на пиксельном уровне

Комплексирование на пиксельном уровне

Оценки информативности в скользящем окне 5x5 и 31x31

80 Комплексирование на пиксельном уровне

Комплексирование на пиксельном уровне

Комплексирование на основе оценки информативности

81 Комплексирование на пиксельном уровне

Комплексирование на пиксельном уровне

Комплексирование на основе добавления отличий

82 Комплексирование на пиксельном уровне

Комплексирование на пиксельном уровне

>

Использование морфологического подхода Ю.П. Пытьева

Описание формы

Нормированный коэфициент корреляции Морфологический коэффициент корреляции: 0 ? km ? 1 Km не зависит от Морфологический проектор преобразования яркости F(f(x,y)). Сравнение форм:

? = arccos ku, ? = arccos km

83 Обнаружение ВПП

Обнаружение ВПП

84 Преобразование Хафа

Преобразование Хафа

Параметризация и процедура голосования преобразования Хафа

85 Преобразование Хафа в окне

Преобразование Хафа в окне

Edge

Transform

Thresholding

Reconstruction

86 Преобразование Хафа в окне

Преобразование Хафа в окне

87 Преобразование Хафа

Преобразование Хафа

Обнаружение ВПП

Обнаруженные элементы ВПП

Аккумулятор HT

88 Приниципы обнаружения препятствий на ВПП

Приниципы обнаружения препятствий на ВПП

89 Метод сведения задачи 3-D обнаружения к 2-D задаче

Метод сведения задачи 3-D обнаружения к 2-D задаче

Обнаружение 3-D объектов находящихся в наблюдаемой сцене на криволинейной поверхности Распознавание возможной ситуации: объект лежит на поверхности; 2) объект нарисован на поверхности.

1

90 Получение модели подстилающей поверхности (пример дорожной сцены)

Получение модели подстилающей поверхности (пример дорожной сцены)

Вычисление точек соответствия и 3-D координат

Обнаружение модельных элементов поверхности с помощью алгоритмов компьютерного зрения

91 V-структуры являются основным признаком 3d-объекта

V-структуры являются основным признаком 3d-объекта

Получение разности ортофото

Основной приём – сведение задачи трёхмерного обнаружения к обнаружению двумерных структур с предсказанными свойствами

Параметры V-структуры могут быть получены из геометрии камер (размеры a,b, угол ?)

92 Результат применения 2D алгоритмов обнаружения

Результат применения 2D алгоритмов обнаружения

Разность ортофото изображений image D(X,Y)

Результат фильтрации P(X,Y) = MXY * D(X,Y)

Критерий обнаружения

- Правило решения, основанное на статистике

93 Архитектура программного обеспечения для анализа ДРФП

Архитектура программного обеспечения для анализа ДРФП

94 Элементы интерфейса системы обработки информации ДРФП (2010)

Элементы интерфейса системы обработки информации ДРФП (2010)

95 Элементы интерфейса системы обработки информации ДРФП (2010)

Элементы интерфейса системы обработки информации ДРФП (2010)

96 Элементы интерфейса системы обработки информации ДРФП (2010)

Элементы интерфейса системы обработки информации ДРФП (2010)

97 Спасибо за внимание

Спасибо за внимание

«Прямоугольник наблюдение 2 класс 21 век»
http://900igr.net/prezentacija/biologija/prjamougolnik-nabljudenie-2-klass-21-vek-206704.html
cсылка на страницу

Зрение

18 презентаций о зрении
Урок

Биология

136 тем
Слайды
900igr.net > Презентации по биологии > Зрение > Прямоугольник наблюдение 2 класс 21 век