Главная » Панорамное изображение в видеонаблюдении
Статьи

Панорамное изображение в видеонаблюдении

С.А. Попов
Научный сотрудник Института автоматики и электрометрии СО РАН

Д.С. Ватолин
К.ф.-м.н., лаборатория компьютерной графики ВМиК МГУ

Данная статья посвящена теме получения единой панорамной сцены из изображений, зарегистрированных пространственно удаленными камерами со смежными полями обзора, а также теме управления поворотной камерой по панораме.

Реалии сегодняшнего дня предъявляют высочайшие требования к системам безопасности и видеонаблюдения. Многие крупные объекты, такие как аэропорты, вокзалы, крупные промышленные предприятия, требуют проведения мониторинга пространств, измеряемых десятками и сотнями гектаров. Множество камер решает задачу отображения всей поверхности объекта, но оставляет открытым вопрос об эффективном представлении имеющейся информации оператору видеомониторинга.

Неэффективность предоставления информации оператору видеонаблюдения

Человек может успешно воспринять лишь очень ограниченное количество разнородной информации, каковой и являются изображения с различных пространственно удаленных камер видеонаблюдения. Один оператор может эффективно следить максимум за 6-8 камерами Даже в этом случае изображения с каждой камеры могут отличаться ракурсом съемки, масштабом, цветопередачей и  другими параметрами. Все это приводит к тому, что оператору сложно представить себе наблюдаемое пространство и происходящие на нем события как единое целое. Как правило, наблюдение за большим числом камер осуществляется несколькими операторами. Однако часто возникают ситуации, когда один оператор может видеть начало некоторого события, другой - его окончание. При этом ни начало события, ни его продолжение сами по себе могут не вызывать подозрений. Таким образом, становится очевидной необходимость создания инструмента для объединения информации, получаемой с нескольких камер, с целью синтеза изображения, содержащего полный обзор пространства, наблюдаемого несколькими камерами, для более адекватной оценки оператором текущей ситуации

Сшивка панорамного изображения

В настоящее время широко известна технология сшивки панорамного изображения по изображениям, зарегистрированным камерой, находящейся в одной точке пространства. Эта задача обычно возникает в любительской фотографии, когда фотограф хочет запечатлеть пейзаж или архитектурный ансамбль. Несмотря на кажущееся сходство, эта задача сильно отличается от синтеза панорамного изображения в видеонаблюдении. Наиболее важное отличие заключается в том, что съемка ведется с разных точек. Соответственно в зависимости от глубины нахождения предмета на сцене на различных изображениях он может иметь различное положение относительно других предметов Так, если при съемке с одной точки все предметы на изображениях идут в одном и том же порядке слева направо, то при съемке с различных точек этот порядок иногда может меняться на противоположный.

Важно отметить, что при наблюдении с различных ракурсов сшивка по наборам сопряженных точек, находящихся на различных удалениях от камеры, дает принципиально разные результаты. Ниже будут приведены результаты сшивки двух кадров, зарегистрированных с различных точек пространства, по разным наборам точек, находящихся в различных частях сцены.

Типичное решение проблемы состоит из двух частей. Первая часть состоит в оценке геометрии совмещения исходных кадров, а также в расчете параметров преобразований, переводящих координаты каждого исходного изображения в координаты изображения, содержащего поле глобального обзора. Наиболее важным шагом в оценке геометрии совмещения является поиск сопряженных точек. Это сложная и нетривиальная задача, поскольку, в отличие от задач поиска сопряженных точек в картографии, в данном случае предполагается полностью автоматическая привязка изображений при отсутствии начальных точек соответствия, задаваемых оператором.

Для решения этой задачи используется следующий подход. Сначала на всех изображениях выделяются так называемые характерные точки, которые статистически отличаются от однородного фона изображения. Существуют различные процедуры для выполнения этой операции, в частности выделение углов либо нахождение границ предметов с помощью оператора Собе-ля'. После того как характерные точки на всех изображениях выделены, строится их описание в некотором пространстве признаков. То есть каждая точка должна быть описана некоторым набором чисел, построенным по информации, содержащейся в окрестности этой точки.

Чтобы сделать возможной и эффективной процедуру сопоставления найденных таким образом точек, пространство признаков выбирают так, чтобы эти признаки были инвариантны относительно поворотов и изменений масштаба изображений, а также относительно изменений освещенности наблюдаемой сцены. Поскольку весь процесс является полностью автоматизированным, найденные таким образом точки в подавляющем большинстве случаев содержат ошибочно найденные соответствия. Для того чтобы удалить сбойные точки, проводится процедура ректификации, которая, как правило, содержит проверку нескольких эмпирически подобранных условий. Наиболее строго формализованным подходом к отбраковке ложных соответствий является алгоритм RANSAC. (RANSAC - это сокращение от RANdom SAmple Consensus, или метод согласования случайных выборок. Это итеративный метод для оценки параметров математических преобразований по данным, содержащим случайные шумы).

Вторая часть решения состоит в оценивании параметров коррекции яркости, собственно коррекции яркости и цветопередачи, а также непосредственно в сшивке изображений. На этом этапе необходимо синтезировать панорамный обзор с плавным переходом в местах сшивки кадров, зарегистрированных различными камерами. Эта функция также должна обеспечивать корректное отображение движущихся объектов, которые могут быть по-разному зарегистрированы различными камерами.

Процесс сшивки изображений должен быть организован в режиме реального времени. При этом, разумеется, все параметры преобразований для данного набора камер с фиксированными полями обзора вычисляются один раз Разрабатываемые процедуры должны быть отказоустойчивыми, корректно обрабатывать любые нестандартные ситуации, связанные как с работой системы, так и с ошибками входных данных.

Примеры применения панорамного изображения

Создаваемое таким образом поле глобального обзора интересно не только с точки зрения удобного отображения информации, но и с точки зрения интеллектуального видео. Несложно предсказать, что в будущем оно позволит обнаруживать и отслеживать движение объектов, перемещающихся в поле наблюдения нескольких камер. Другими словами, детекторы движения и трекинга объектов, способные автоматически обнаруживать движущиеся объекты и отображать их траекторию в поле зрения одной камеры, существенно расширят свои возможности. Новые алгоритмы позволят действительно "вести" объекты, перемещающиеся во всей области наблюдения, что позволит создавать принципиально новые сценарии обнаружения потенциально опасных ситуаций.

Например, появление человека в зоне А с последующим перемещением в зону В может расцениваться как тревожная ситуация. Если же он пришел в зону В из зоны С, ситуация не будет восприниматься как нештатная. Можно также отслеживать такие события, как обход вокруг здания либо постоянное перемещение с остановками в какой-либо зоне или зонах, - распознавать такие ситуации важно, например, для предотвращения планирующихся преступлений или терактов. А при расследовании различных происшествий будет возможно точно отследить, как перемещался тот или иной человек, где останавливался и как долго он находился в различных зонах наблюдения.

Управление поворотной камерой по панораме

Другим примером использования панорамного изображения для упрощения мониторинга является управление поворотной камерой по панораме. Основная идея этого подхода заключается в том, что часто поворотная камера может осматривать территорию с углом обзора в 360 градусов с очень хорошей детализацией изображения при приближении, но при этом ее позиционирование организуется только в виде ограниченного количества положений с заранее заданным фокусным расстоянием. Это не всегда удобно: например, если производится мониторинг склада, то хорошо иметь полную картину всех расставленных предметов, например, на момент 15-минутной давности, с возможностью позиционирования на любой из них.

Для решения этой задачи применяются методы построения панорамы по видео (подобные используемым, например, в системах ручного наведения высокоточных ракет), когда получаемое камерой изображение накладывается с учетом искажений на уже построенную панораму. Интерфейс может быть реализован таким образом: оператор видит в одном окне всю панораму и выделенную на ней рамкой область, на которую направлена камера, а текущее видео с камеры отображается в отдельном окне. В случае использования этого подхода в системе видеонаблюдения оператор видит весь зал (склад, цех) и имеет возможность позиционировать камеру на любой объект, причем при изменении положения камеры будет происходить обновление панорамного изображения. Если камера во время движения теряет объект, то для оператора очевидно, в какую сторону необходимо повернуть ее для нахождения объекта: он видит на общей панораме потерянный объект, а также текущее видео с камеры, расположенное корректно относительно этого объекта.

На практике использовать для решения задачи построения панорамы техническую информацию с камеры не представляется возможным в силу особенностей большинства современных камер, поэтому оценку позиции необходимо производить непосредственно по видеоизображению, используя оценку глобального движения (GME - Global Motion Estimation). При этом используется несколько принципиально разных моделей оценки движения камеры, включающих в себя от 2 до 8 параметров. С увеличением количества параметров и сложности модели уменьшается величина искажений построенной панорамы, однако при этом вырастает сложность вычислений и повышается вероятность ошибочного определения движения.

При построении GME необходимо учитывать основные особенности изображения, а также наличие в кадре крупных движущихся объектов. Наиболее качественные алгоритмы GME содержат базовые алгоритмы сегментации видео и являются итеративными. Существуют эффективные методы ускорения итеративных подходов, дающие результат гораздо быстрее при такой же высокой эффективности.

Использование панорамы заметно упрощает управление поворотными камерами в условиях изменения освещения, появления новых объектов и необходимости осуществлять мониторинг больших площадей. 

Источник: Журнал "Системы безопасности" #2, 2009

14.02.2010



------------------------------------------------------------------------------------------------------------------------------
Облако тегов:

В России все секрет, и ничто не тайна. /А. Сталь/