Межкадровый nr что это
Покадровое или межкадровое сжатие
Покадровое или межкадровое сжатие
М.В. Петрайтис
Директор по маркетингу ЗАО «Вокорд Телеком»
Об особенностях реализации кодеков
Поговорим о стандартных алгоритмах компрессии, не принимая к рассмотрению самостоятельно разработанные отдельными компаниями проприетарные кодеки, особенности реализации которых в большинстве случаев неизвестны, а о преимуществах их использования можно судить только по заявлениям самих компаний.
Прежде чем перейти к обсуждению плюсов и минусов применения покадрового и межкадрового сжатия, следует упомянуть о следующем обстоятельстве. В стандартах межкадровых алгоритмов компрессии (MPEG-2/4, H.264), наиболее часто используемых в охранном телевидении, зафиксированы требования к структуре сжатых данных. При этом способ вычисления отдельных параметров (таких, например, как вектор смещения движущихся объектов в промежуточных кадрах) отдается на «откуп» разработчикам конкретной реализации алгоритма. Поэтому качество реализации алгоритмов межкадровой компрессии в системах видеонаблюдения разных производителей может существенно различаться. Это отражается на качестве картинки, наличии различных артефактов, а также на объеме потока компрессированных данных.
Однако для таких покадровых алгоритмов, как JPEG, JPEG-2000, стандарт не допускает каких-либо вольностей, и различные реализации могут отличаться только производительностью.
Объем трафика, создаваемый передаваемыми видеоданными, сжатыми межкадровыми алгоритмами компрессии, заметно меньше, чем при сжатии данных покадровыми кодеками. То же самое касается и размера архива видеоданных. Собственно, в этом и заключается смысл применения межкадровой компрессии.
Для изображения в полном PAL-разрешении 720х576 при частоте 25 кадр/с поток видеоданных, сжатых кодеком JPEG-2000, составляет порядка 12–16 Мбит/с. При том же качестве изображения поток, сжатый MPEG-2/4, обычно составляет 4–8 Мбит/с в зависимости от степени интенсивности движения в кадре.
Уменьшение объема данных не может не сказаться на качестве видеоматериалов в целом. Дело в том, что после декомпрессии большая часть кадров в межкадровых алгоритмах является производной от так называемых опорных кадров, которые сжимаются целиком.
Производные кадры получаются искусственным способом: путем восстановления движущихся объектов предыдущего (или предыдущего и последующего) кадра по векторам смещения. При этом используются некоторые особенности восприятия человеческим глазом движущегося изображения. Чтобы понять, что имеется в виду, достаточно вспомнить картинку, которая получается, когда при просмотре динамичной сцены на аналоговом видеомагнитофоне нажимают кнопку «пауза». В большинстве случаев, если этот момент не приходится на опорный кадр, картинка сильно размыта в областях с движущимися объектами. Тем не менее при обычном проигрывании записи изображение выглядит нормально.
Вот из таких «размазанных» кадров по большей части и состоит архив, записанный системой видеонаблюдения, использующей межкадровые кодеки. Поэтому при необходимости разбора инцидента, зафиксированного системой видеонаблюдения, может случиться так, что у вас будет всего 1–2 опорных кадра, пригодных для анализа записи и идентификации объектов, но не исключено, что таких кадров и вовсе не окажется. Для проведения криминалистических экспертиз принимаются только кадры покадровых алгоритмов сжатия или опорные кадры межкадровых алгоритмов. Обычно опорные кадры идут с интервалом 1–2 с, а промежутки между ними заполняются производными кадрами, не пригодными для анализа.
В то же время у записи, сделанной системой видеорегистрации с покадровым сжатием, каждый кадр представляет собой отдельный снимок и может быть использован для анализа.
В дополнение можно сказать, что частота следования опорных кадров в межкадровых кодеках является регулируемой величиной. Однако при увеличении частоты следования опорных кадров до величины, близкой к покадровым кодекам, объем сетевого трафика (и архива данных) возрастает и становится выше, чем у покадровых кодеков. Кроме того, покадровые кодеки, в основе которых лежит Wavelet-преобразование, имеют свойство, которое можно удачно использовать для масштабирования видеопотока и оптимизации сетевого трафика. Речь об этом пойдет ниже.
Если не хватает пропускной способности канала для передачи данных или система не справляется с распаковкой большого количества данных, происходит потеря части видеоинформации. Для системы, использующей покадровый кодек, безболезненно можно осуществлять прореживание потока, выражающееся в пропускании некоторых кадров. При этом качество отдельных кадров никак не страдает, теряется лишь плавность показа движущихся объектов.
Совсем по-другому дело обстоит с межкадровыми кодеками. Поскольку опорные кадры являются образующими для целой серии промежуточных кадров, если случается потеря данных, содержащих опорный кадр, то выпадает целый временной промежуток видеоизображения. «Картинка» замирает, а затем продолжается с другого кадра.
Масштабирование потока видеоданных и оптимизация сетевого трафика
Покадровые алгоритмы компрессии, такие как Wavelet и JPEG-2000, являются довольно требовательными к вычислительным ресурсам. С одной стороны, они, как правило, здесь проигрывают межкадровым алгоритмам, правда, с оговоркой об имеющейся степени свободы в реализации межкадровых кодеков.
С другой – покадровые кодеки, основанные на Wavelet-преобразовании (Wavelet, JPEG-2000), имеют удобную структуру организации данных, которая может быть с успехом использована для оптимизации и масштабирования потоков.
Дело в том, что в этих алгоритмах компрессии данные о каждом кадре имеют блочную структуру. Каждый блок содержит данные об изображении, детализирующие данные из предыдущего блока. Это позволяет, используя минимум вычислительных ресурсов, из потока компрессированных данных получать поток этих данных с изображением меньшего разрешения, тогда как в случае использования межкадровых кодеков кадр требуется распаковать, уменьшить и запаковать снова.
Алгоритмы сжатия: у разных объектов свои требования
Используемый алгоритм компрессии – одна из основных характеристик системы видеонаблюдения. Можно сказать, что для задач, решаемых профессиональными охранными системами на крупных и средних объектах, более применимы системы видеонаблюдения с покадровыми алгоритмами компрессии. Это утверждение основано на том, что каждый кадр, полученный с помощью подобной системы, может быть использован для анализа. Свои преимущества имеют и системы с межкадровыми алгоритмами. В ряде случаев эти преимущества могут оказаться основополагающими, особенно если это касается небольших объектов, где не слишком важна документальность записей, а также нет жестких требований к качеству изображения. Отчасти это подтверждается тем, что большинство DVR, специализированных устройств для небольших объектов, используют как раз межкадровые кодеки.
Межкадровый
Резюме
Межкадровое предсказание
Следующее изображение иллюстрирует процесс межкадрового предсказания:
С точки зрения декодера процессу нужны только остаточный блок и вектор, чтобы восстановить значения макроблока. Действительно, эталонные изображения также декодируются заранее, и предсказанный вектор известен, поскольку его определение известно стандартом. Результирующий декодированный блок отличается от исходного блока, поскольку это сжатие с потерями из-за квантования.
У этого типа предсказания есть преимущества и недостатки. Если алгоритм может найти блок со значениями компонентов, очень близкими к текущему блоку, ошибка прогнозирования будет небольшой, и поэтому после преобразования и сжатия размер набора «вектор движения и остаточный блок» будет меньше, чем что из несжатого текущего блока. И наоборот, если оценка движения не находит подходящий блок, ошибка предсказания будет большой, и кодированный поток будет иметь больший размер, чем у текущего несжатого блока. В последнем случае кодировщик выбирает необработанное кодирование этого блока. Короче говоря, чем лучше прогноз, тем меньше разница и, следовательно, лучше сжатие.
Этот метод прогнозирования ограничен, поскольку его нельзя использовать для сжатия всего видео самостоятельно. Если блок, на который указывает вектор движения в опорном кадре, также был закодирован из режима межкадрового предсказания, ошибки, сделанные в отношении его кодирования, также будут распространены на следующий блок. Другими словами, если бы все изображения были закодированы только этим методом, у декодера не было бы возможности синхронизировать видеопоток, потому что было бы невозможно получить опорные изображения. Вот почему необходимо кодировать определенные изображения независимо от времени, как в случае с I-изображениями, также называемыми внутренними кадрами или I-кадрами, которые кодируются только из своего содержимого с помощью алгоритма пространственного прогнозирования и для которых не требуется дополнительных данных. расшифровано. На основе этих надежных изображений затем можно будет декодировать эталонные изображения.
Структура группы изображений (GOP)
Типы промежуточных кадров
П-образная рама
B-образная рама
Улучшения прогнозирования в стандарте H.264
Одним из основных улучшений стандарта H.264 является межкадровое предсказание. Она разрешает:
Разделение блоков H.264
Для достижения точной и эффективной компенсации движения каждый макроблок яркости можно разделить на субблоки (см. Рисунок ниже). В стандарте MPEG-2 количество разделов составляет 4: 1 блок 16×16 пикселей, 2 блока 16×8 пикселей, 2 блока 8×16 пикселей или 4 блока 8×8 пикселей. Каждое разбиение связано с режимом интеркодирования. Для каждого режима оценка движения находит лучший вектор движения для субблока, который указывает на блок того же размера в опорном изображении, и компенсация вычисляет приближение стоимости кодирования макроблока для данного режима. После того, как все режимы завершены, алгоритм выбирает режим разделения, который дает наименьшую стоимость, и выполняет окончательное кодирование макроблока.
В стандарте H.264 количество режимов разделения увеличивается с возможностью разделения блока 8×8 на субблоки размером 4×8 пикселей, 8×4 пикселей или 4×4 пикселей.
Четверть-пиксельная точность
Множественные ссылки
Улучшенный режим Direct / Skip
Режимы Skip и Direct часто используются, особенно с изображениями B. Они значительно сокращают количество бит для кодирования. Если этот режим выбран алгоритмом, никакая дополнительная информация не будет кодироваться, не будет ни вектора движения, ни блока остатков. В этом случае декодер выводит вектор предсказания, определенный из уже закодированных соседних макроблоков. Кодер записывает только информацию о режиме прогнозирования, соответствующем пропущенному макроблоку.
В стандарте H.264 есть два способа определения движения:
Он использует вектор движения блока из изображения List1, расположенного в той же позиции, для вывода вектора движения текущего блока. Буферный блок List1 использует блок List0 в качестве ссылки.
Он предсказывает движение от соседних макроблоков в текущем изображении. Возможным критерием может быть копирование вектора движения из соседнего блока. Эти режимы используются в однородных областях изображения, где нет большого движения.
Дополнительная информация
Сжатие видео на пальцах: как работают современные кодеки?
Затраты на хранение данных зачастую становятся основным пунктом расходов при создании системы видеонаблюдения. Впрочем, они были бы несравнимо больше, если бы в мире не существовало алгоритмов, способных сжимать видеосигнал. О том, насколько эффективны современные кодеки, и какие принципы лежат в основе их работы, мы и поговорим в сегодняшнем материале.
Для большей наглядности начнем с цифр. Пускай видеозапись будет вестись непрерывно, в разрешении Full HD (сейчас это уже необходимый минимум, во всяком случае, если вы хотите полноценно использовать функции видеоаналитики) и в режиме реального времени (то есть, с фреймрейтом 25 кадров в секунду). Предположим также, что выбранное нами оборудование поддерживает аппаратное кодирование H.265. В этом случае при разных настройках качества изображения (высоком, среднем и низком) мы получим примерно следующие результаты.
Кодек
Интенсивность движения в кадре
Использование дискового пространства за сутки, ГБ
H.265 (Высокое качество)
H.265 (Высокое качество)
H.265 (Высокое качество)
H.265 (Среднее качество)
H.265 (Среднее качество)
H.265 (Среднее качество)
H.265 (Низкое качество)
H.265 (Низкое качество)
H.265 (Низкое качество)
Но если бы сжатия видео не существовало в принципе, мы бы увидели совсем иные цифры. Попробуем разобраться, почему. Видеопоток представляет собой не что иное, как последовательность статичных картинок (кадров) в определенном разрешении. Технически каждый кадр является двумерным массивом, содержащим информацию об элементарных единицах (пикселях), формирующих изображение. В системе TrueColor для кодирования каждого пикселя требуется 3 байта. Таким образом, в приведенном примере мы бы получили битрейт:
Учитывая, что в сутках 86400 секунд, цифры выходят поистине астрономические:
Итак, если бы мы записывали видео без сжатия в максимальном качестве при заданных условиях, то для хранения данных, полученных с одной единственной видеокамеры в течение суток нам бы потребовалось 12 терабайт дискового пространства. Но даже система безопасности квартиры или малого офиса предполагает наличие, как минимум, двух устройств видеофиксации, тогда как сам архив необходимо сохранять в течение нескольких недель или даже месяцев, если того требует законодательство. То есть, для обслуживания любого объекта, даже весьма скромных размеров, потребовался бы целый дата-центр!
К счастью, современные алгоритмы сжатия видео помогают существенно экономить дисковое пространство: так, использование кодека H.265 позволяет сократить объем видео в 90 (!) раз. Добиться столь впечатляющих результатов удалось благодаря целому стеку разнообразных технологий, которые давно и успешно применяются не только в сфере видеонаблюдения, но и в «гражданском» секторе: в системах аналогового и цифрового телевидения, в любительской и профессиональной съемке, и многих других ситуациях.
Наиболее простой и наглядный пример — цветовая субдискретизация. Так называют способ кодирования видео, при котором намеренно снижается цветовое разрешение кадров и частота выборки цветоразностных сигналов становится меньше частоты выборки яркостного сигнала. Такой метод сжатия видеоданных полностью оправдан как с позиции физиологии человека, так и с точки зрения практического применения в области видеофиксации. Наши глаза хорошо замечают разницу в яркости, однако гораздо менее чувствительны к перепадам цвета, именно поэтому выборкой цветоразностных сигналов можно пожертвовать, ведь большинство людей этого попросту не заметит. В то же время, сложно представить, как в розыск объявляют машину цвета «паука, замышляющего преступление»: в ориентировке будет написано «темно-серый», и это правильно, ведь иначе прочитавший описание авто даже не поймет, о каком оттенке идет речь.
А вот со снижением детализации все оказывается уже совсем не так однозначно. Технически квантование (то есть, разбиение диапазона сигнала на некоторое число уровней с последующим их приведением к заданным значениям) работает великолепно: используя данный метод, размер видео можно многократно уменьшить. Но так мы можем упустить важные детали (например, номер проезжающего вдалеке автомобиля или черты лица злоумышленника): они окажутся смазаны и такая запись будет для нас бесполезной. Как же поступить в этой ситуации? Ответ прост, как и все гениальное: стоит взять за точку отсчета динамические объекты, как все тут же становится на свои места. Этот принцип успешно используется со времен появления кодека H.264 и отлично себя зарекомендовал, открыв ряд дополнительных возможностей для сжатия данных.
Это было предсказуемо: разбираемся, как H.264 сжимает видео
Вернемся к таблице, с которой мы начали. Как видите, помимо таких параметров, как разрешение, фреймрейт и качество картинки решающим фактором, определяющим конечный размер видео, оказывается уровень динамичности снимаемой сцены. Это объясняется особенностями работы современных видеокодеков вообще, и H.264 в частности: используемый в нем механизм предсказания кадров позволяет дополнительно сжимать видео, при этом практически не жертвуя качеством картинки. Давайте посмотрим, как это работает.
Кодек H.264 использует несколько типов кадров:
Поскольку в процессе вычитания возможны ошибки, приводящие к появлению графических артефактов, то через какое-то количество кадров схема повторяется: вновь формируется опорный кадр, а вслед за ним — серия кадров с изменениями.
Полное изображение формируется путем «наложения» P-кадров на опорный кадр. При этом появляется возможность независимой обработки фона и движущиеся объектов, что позволяет дополнительно сэкономить дисковое пространство без риска упустить важные детали (черты лиц, автомобильные номера и т. д.). В случае же с объектами, совершающими однообразные движения (например, вращающимися колесами машин) можно многократно использовать одни и те же разностные кадры.
Независимая обработка статических и динамических объектов позволяет сэкономить дисковое пространство
Данный механизм носит название межкадрового сжатия. Предсказанные кадры формируются на основе анализа широкой выборки зафиксированных состояний сцены: алгоритм предвидит, куда будет двигаться тот или иной объект в поле зрения камеры, что позволяет существенно снизить объем записываемых данных при наблюдении за, например, проезжей частью.
Кодек формирует кадры, предсказывая, куда будет двигаться объект
В свою очередь, использование двунаправленных предсказанных кадров позволяет в несколько раз сократить время доступа к каждому кадру в потоке, поскольку для его получения будет достаточно распаковать только три кадра: B, содержащий ссылки, а также I и P, на которые он ссылается. В данном случае цепочку кадров можно изобразить следующим образом.
Такой подход позволяет существенно повысить скорость быстрой перемотки с показом и упростить работу с видеоархивом.
В чем разница между H.264 и H.265?
В H.265 используются все те же принципы сжатия, что и в H.264: фоновое изображение сохраняется единожды, а затем фиксируются лишь изменения, источником которых являются движущиеся объекты, что позволяет значительно снизить требования не только к объему хранилища, но и к пропускной способности сети. Однако в H.265 многие алгоритмы и методы прогнозирования движения претерпели значительные качественные изменения.
Так, обновленная версия кодека стала использовать макроблоки дерева кодирования (Coding Tree Unit, CTU) переменного размера с разрешением до 64×64 пикселей, тогда как ранее максимальный размер такого блока составлял лишь 16×16 пикселей. Это позволило существенно повысить точность выделения динамических блоков, а также эффективность обработки кадров в разрешении 4K и выше.
Кроме того, H.265 обзавелся улучшенным deblocking filter — фильтром, отвечающим за сглаживание границ блоков, необходимым для устранения артефактов по линии их стыковки. Наконец, улучшенный алгоритм прогнозирования вектора движения (Motion Vector Predictor, MVP) помог заметно снизить объем видео за счет радикального повышения точности предсказаний при кодировании движущихся объектов, чего удалось достичь за счет увеличения количества отслеживаемых направлений: если ранее учитывалось лишь 8 векторов, то теперь — 36.
Помимо всего перечисленного выше, в H.265 была улучшена поддержка многопоточных вычислений: квадратные области, на которые разбивается каждый кадр при кодировании, теперь могут обрабатываться независимо одна от другой. Появилась и поддержка волновой параллельной обработки данных (Wavefront Parallelel Processing, WPP), что также способствует повышению производительности сжатия. При активации режима WPP обработка CTU осуществляется построчно, слева направо, однако кодирование каждой последующей строки может начаться еще до завершения предыдущей в том случае, если данных, полученных из ранее обработанных CTU, для этого достаточно. Кодирование различных строк CTU с временной задержкой со сдвигом, наряду с поддержкой расширенного набора инструкций AVX/AVX2 позволяет дополнительно повысить скорость обработки видеопотока в многоядерных и многопроцессорных системах.
Флэш-карты для видеонаблюдения: когда значение имеет не только размер
И вновь вернемся к табличке, с которой мы начали сегодняшний разговор. Давайте подсчитаем, сколько дискового пространства нам понадобится в том случае, если мы хотим хранить видеоархив за последние 30 дней при максимальном качестве видеозаписи:
По нынешним меркам 4 терабайта для винчестера индустриального класса — практически ничто: современные жесткие диски для видеонаблюдения имеют емкость до 14 терабайт и могут похвастаться рабочим ресурсом до 360 ТБ в год при MTBF до 1.5 миллионов часов. Что же касается карт памяти, то здесь все оказывается не так однозначно.
В IP-камерах флэш-карты играют роль резервных хранилищ: данные на них постоянно перезаписываются, чтобы в случае потери связи с видеосервером недостающий фрагмент видеозаписи можно было восстановить из локальной копии. Такой подход позволяет существенно повысить отказоустойчивость всей системы безопасности, однако при этом сами карты памяти испытывают колоссальные нагрузки.
Как видно из нашей таблицы, даже при низком качестве изображения и при условии минимальной активности в кадре, всего за сутки будет записано около 24 ГБ видео. А это значит, что 128-гигабайтная карточка будет полностью перезаписана менее чем за неделю. Если же нам требуется получать максимально качественную картинку, то все данные на таком носителе будут полностью обновляться раз в сутки! И это лишь при разрешении Full HD. А если нам понадобится картинка в 4K? В этом случае нагрузка вырастет практически в два раза (в заданных условиях видео в максимальном качестве потребует уже 250 ГБ).
При бытовом использовании подобное попросту невозможно, поэтому даже самая бюджетная карта памяти способна прослужить вам несколько лет к ряду без единого сбоя. А все благодаря алгоритмам выравнивания износа (wear leveling). Схематично их работу можно описать следующим образом. Пусть в нашем распоряжении есть новенькая флеш-карта, только что из магазина. Мы записали на нее несколько видеороликов, использовав 7 из 16 гигабайт. Через некоторое время мы удалили часть ненужных видео, освободив 3 гигабайта, и записали новые, объем которых составил 2 ГБ. Казалось бы, можно задействовать только что освободившееся место, однако механизм выравнивания износа выделит под новые данные ту часть памяти, которая ранее никогда не использовалась. Хотя современные контроллеры «тасуют» биты и байты куда более изощренно, общий принцип остается неизменным.
Напомним, что кодирование битов информации происходит путем изменения заряда в ячейках памяти за счет квантового туннелирования электронов сквозь слой диэлектрика, что вызывает постепенный износ диэлектрических слоев с последующей утечкой заряда. И чем чаще меняется заряд в конкретной ячейке, тем раньше она выйдет из строя. Выравнивание износа как раз направлено на то, чтобы каждая из доступных ячеек перезаписывалась примерно одинаковое количество раз и, таким образом, способствует увеличению срока службы карты памяти.
Нетрудно догадаться, что wear leveling перестает играть хоть сколько-нибудь значимую роль в том случае, если флэш-карта постоянно перезаписывается целиком: здесь на первый план уже выходит выносливость самих чипов. Наиболее объективным критерием оценки последней является максимальное количество циклов программирования/стирания (program/erase cycle), или, сокращенно, циклов P/E, которое способно выдержать флеш-память. Также достаточно точным и в данном случае наглядным (так как мы можем заранее рассчитать объемы перезаписи) показателем является коэффициент TBW (Terabytes Written). Если в технических характеристиках указан лишь один из перечисленных показателей, то вычислить другой не составит особого труда. Достаточно воспользоваться следующей формулой:
TBW = (Емкость × Количество циклов P/E)/1000
Так, например, TBW флеш-карты емкостью 128 гигабайт, ресурс которой составляет 200 P/E, будет равен: (128 × 200)/1000 = 25,6 TBW.
Давайте считать дальше. Выносливость карт памяти потребительского уровня составляет 100–300 P/E, и 300 — это в самом лучшем случае. Опираясь на эти цифры, мы можем с достаточно высокой точностью оценить срок их службы. Воспользуемся формулой и заполним новую таблицу для карты памяти емкостью 128 ГБ. Возьмем за ориентир максимальное качество картинки в Full HD, то есть в сутки камера будет записывать 138 ГБ видео, как мы выяснили ранее.
Ресурс карты памяти, циклов P/E