Камеры для компьютерного зрения: характеристики

Статью подготовили специалисты компании Hey Machine Learning.

Когда вы включаете камеру, чтобы сделать селфи, она определяет ваше лицо и фокусируется на нем. Такой процесс обнаружения и отслеживания объектов называется компьютерное зрение (CV) и используется оно не только для работы с лицами.

С помощью этой технологии можно классифицировать изображения, считывать показания счетчиков, отслеживать передвижения машин, распознавать текст и определять положение мяча на футбольном поле. Как научная дисциплина, CV относится к теории и технологии создания искусственных систем, которые получают информацию из изображений.

За последние пару лет компьютерное зрение отлично себя проявило. Например, стали создаваться достаточно точные системы обнаружения злоумышленников, подсчета посетителей, детекта дыма и огня, идентификации клиентов и множество других.

В любом случае CV-решения могут существенно ускорить и облегчить много различных процессов, если наделить их правильными алгоритмами и оборудовать подходящими камерами.

Что касается алгоритмов машинного обучения для решения задач обнаружения, отслеживания или классификации — дело стоит за полнотой знаний, ресурсов или выбора исполнителя. Что касается камер — их тоже можно заказать вместе с алгоритмом, но можно и купить самостоятельно. Например, в случае создания собственного решения какой-то проблемы или в качестве проверки гипотезы.

Но какими характеристиками должна обладать камера, чтобы хорошо справиться с поставленной задачей? Попробуем разобраться.

1D-камеры, также называемые линейными или строчными, — это вид CV-камер, которые отличаются от нам привычных тем, что изображения в них формируются путем сканирования объекта съемки. Такая камера имеет специальный сенсор, содержащий чаще всего одну линию пикселей, и способна генерировать бесконечно длинную картинку.

Именно поэтому строчные камеры незаменимы на конвейерах, так как позволяют снимать быстродвижущиеся объекты без размытия. И при использовании линейного сканирования нет необходимости обеспечивать перекрытие последовательных кадров и их дальнейшую программную склейку, как в матричных камерах, так как изображение непрерывно формируется в буфере встроенной памяти линейной камеры.

2D-камеры — это привычные нам камеры, создающие изображения в двухмерном пространстве: по ширине и высоте. По сути, это самый преобладающий в использовании вид камер.

3D-камеры используются, когда необходимо анализировать объем объектов, их форму или положение в трехмерном пространстве. Некоторые трехмерные камеры используют два или более объектива для записи нескольких точек обзора, в то время как другие имеют только один объектив, который просто смещает свое положение.

Есть две основные группы камер, которые отличаются способом обработки данных и передачей видеосигнала: аналоговые и цифровые.

В аналоговых камерах изображение идет от матрицы в аналоговом формате, после оцифровывается для обработки и снова превращается в аналоговый сигнал для дальнейшей передачи. По коаксиальному кабелю видеосигнал идет на монитор и на видеорегистратор, который оцифровывает, кодирует и сжимает его для записи.

Аналоговые камеры подойдут для создания сетей видеонаблюдения, так как они дешевые, простые в установке и использовании, устойчивые к взломам и не имеют задержек в передаче данных. Также, если использовать камеры новых стандартов с высоким разрешением картинки, например HDCVI, HD-TVI или AHD, то можно получить хорошее качество изображения, в том числе движущихся и удаленных объектов.

Это значит, что подобные камеры отлично подойдут, например, для систем отслеживания активности спортсменов: определение позы, скорости движения, контроля выполнения правил игры и определение голов. Еще их можно применить для задач безопасности, например для контроля за периметром объекта или для обнаружения вещей, оставленных без присмотра на вокзалах или в аэропортах.

В цифровой камере сигнал не преобразуется обратно из цифрового формата в аналоговый для передачи, а отправляется на регистратор именно в оцифрованном виде. При этом перед передачей он может кодироваться и сжиматься — так происходит в IP-камерах, или же передаваться несжатым и некодированным — так есть в HD-SDI камерах.

Системы с цифровыми камерами легко масштабируются, модернизируются и оптимизируются. Они дороже в цене, однако могут использоваться для любых задач компьютерного зрения.

Есть еще один тип камер, о котором следует сказать, — это камеры машинного зрения.

Такие камеры снимают изображения в высоком разрешении и отправляют их несжатыми на компьютер. Из-за этого получаемые картинки выглядят не так красиво, как с обычных камер, которые их сжимают и сглаживают, но в хорошем качестве и с высокой детализацией.

Поэтому камеры машинного зрения обычно используются в автоматизации производства или в медицинской сфере, где необходимо видеть всё.

Камеры машинного зрения могут иметь разрешение от VGA до 86 Мп для строчно-кадровой или 4K для однострочной развертки — и снимают до 200 кадров в секунду. Однако за счет таких показателей их цена достаточно высокая.

Для видеокамер используется два типа матриц: CCD и CMOS. Они отличаются как устройством, так и принципом действия. Чтобы подобрать подходящую, необходимо сперва определить требуемый спектр задач. Например, матрица CCD не позволит использовать инфракрасное зрение, которое необходимо, если вам нужно составлять тепловые карты объектов.

Матрица CCD раньше считалась более качественной, но также более дорогой и энергозатратной. Что касается принципа работы, то этот тип матриц собирает все изображения в аналоговом формате, а потом их оцифровывает.

Из преимуществ CCD перед CMOS можно выделить высокую светочувствительность, лучшую цветопередачу, низкий уровень шумов и высокую динамическую чувствительность. Из недостатков — сложный принцип считывания сигнала, высокий уровень энергопотребления и дорогое производство.

Матрица CMOS, complementary metal-oxide-semiconductor, изначально выигрывала меньшим энергопотреблением и стоимостью, однако уступала по качеству. Также CMOS, в отличие от CCD, оцифровывает каждый пиксель сразу.

Среди преимуществ данной матрицы выделяют высокое быстродействие, низкое энергопотребление, а также дешевое и более простое производство. Недостатками являются низкие светочувствительность, коэффициент заполнения пикселей и динамическая чувствительность, а также высокий уровень шума.

При выборе камеры для решения задач компьютерного зрения следует обратить внимание на размер матрицы и размер ее пикселя: чем они больше, тем лучше. Все потому, что размеры фотосенсоров, ответственных за преобразование спроецированного на матрицу изображения в электрический сигнал и его сканирования, определяются размером отдельных пикселей матрицы, которые имеют величину от 0,005 до 0,006 мм.

Чем больше пиксель, тем больше его площадь и количество собираемого им света, а значит выше его светочувствительность и лучше отношение сигнал, шум.

Также важно смотреть на количество пикселей. Чем больше пикселей, тем выше разрешение и, соответственно, разрешающая способность. Как следствие — на большем расстоянии можно идентифицировать лицо и рассмотреть мелкие детали.

Фокусное расстояние — это расстояние между линзой и матрицей. Оно определяет, насколько далеко и широко сможет видеть ваша камера.

Чем меньше фокусное расстояние, тем шире угол обзора и меньше деталей можно рассмотреть на отдаленных объектах. Чем оно больше, тем уже угол обзора и тем детальнее просматривается объект.

Часто используемый вид объектива имеет фокусное расстояние 3,6 мм, которое соответствует углу обзора человеческого глаза. Такие камеры используют для наблюдения в небольших помещениях: например, для подсчета посетителей магазина или кафе.

Типов объективов много: нормальные, широкоугольные, длиннофокусные, сверхдлиннофокусные и прочие. Их главное отличие друг от друга — это угол обзора, зависящий от фокусного расстояния. Основные типы представлены на картинке ниже.

Отдельно стоит упомянуть такой тип камер, как рыбий глаз — Fisheye. Они также называются панорамными камерами, так как имеют 360-градусный угол обзора.

Также есть камеры, лишенные стандартного объектива. Они называются Pinhole-камерами и используются для скрытого видеонаблюдения.

Апертура, она же светосила объектива, представляет собой отверстие, через которое проходит свет, и определяет способность камеры снимать качественную картинку в условиях плохой освещенности. Этот элемент является частью объектива и располагается непосредственно перед линзой.

Чтобы видеокамера давала четкое изображение даже при плохой освещенности, диафрагма должна быть максимально открытой, а значит апертура должна иметь маленькие значения.

Диафрагма — это элемент строения объектива видеокамеры, отвечающий за поступление света на матрицу.

Камеры бывают с фиксированной диафрагмой и с регулируемой. Видеоустройства, которые не имеют диафрагмы вообще, относятся к первой группе.

Отрегулировать диафрагму на видеокамерах можно тремя способами:

Этот параметр отвечает за то, насколько долго затвор остается открытым при съемке, то есть обозначает время, в течение которого свет падает на матрицу. Если коротко, то всю суть можно описать так: когда затвор открыт — свет падает на матрицу, чем больше света, тем выше экспозиция, а значит — и яркость итоговой картинки.

Электронный затвор регулирует светочувствительность матрицы, чтобы подогнать ее под уровень освещенности места съемки. Настройка происходит не путем корректировки светового потока, попадающего на матрицу, как при автоматической регулировке диафрагмы, а путем регулировки длительности накопления электрического заряда на матрице.

Одной из самых полезных характеристик электронного затвора является ручная регулировка скорости затвора. При плохой освещенности устройство автоматически выставляет низкие значения, что приводит к размытию изображения движущихся объектов.

Но стоит отметить, что возможности выдержки ниже, чем автоматической регулировки диафрагмы. На открытом пространстве, где освещение изменяется от сумерек до яркого солнечного света, лучше использовать видеокамеры с АРД, а в помещениях, где освещение меняется незначительно, — камеры с электронным затвором.

Разрешение камеры — это размер получаемого изображения. Чем выше эта характеристика, чем больше деталей можно рассмотреть на видео. Она измеряется в телевизионных линиях (ТВЛ) или в пикселях.

Разрешение в ТВЛ является показателем количества переходов яркости, иначе говоря вертикальных линий, размещенных на изображении по горизонтали. Он дает представление о размере картинки на выходе. Разрешение в ТВЛ указывается в видеозаписях цифрами: 380, 420, 480.

Разрешение видео в пикселях является размером картинки по горизонтали и вертикали, например, 1600 на 1200, или общим количеством пикселей, например, 8 Мп. Чтобы узнать разрешение изображения в мегапикселях, зная его размер, необходимо умножить значение по горизонтали на значение по вертикали и разделить на 1 000 000: 1600 × 1200/1 000 000 = 1,92 Мп.

Когда производители видеокамер указывают разрешение итоговой картинки в документации, это может означать не ее размер, а количество пикселей на матрице. Поэтому необходимо также обращать внимание на характеристику «эффективное количество пикселей».

Эффективные пиксели — это пиксели, которые фактически формируют итоговое изображение. Часто этот показатель соответствует реальному разрешению получаемой картинки, но не всегда.

Видеокамеры с ИК-подсветкой (IR) имеют специальные светодиоды, испускающие инфракрасное излучение, которое способны уловить чувствительные матрицы устройств. Это позволяет проводить съемку в полной темноте.

Когда на объекте наблюдения достигается определенный минимум освещения, видеокамера автоматически переходит в режим съемки в ИК-диапазоне и включает инфракрасную подсветку. Получаемое изображение всегда будет черно-белым, независимо от того, цветная у вас камера или монохромная.

Также в некоторых камерах есть функция «умная инфракрасная подсветка», которая предназначена для регулирования мощности ИК-излучения в зависимости от расстояния до объекта. Это делается для того, чтобы близкие к камере объекты были не засвечены на видео.

Когда видеокамера оснащена функцией инфракрасной подсветки для съемок в ночное время, она может давать сбои в виде нарушения цветового спектра итоговой картинки при съемке в светлое время суток.

Это происходит из-за того, что камеры с ИК-подсветкой имеют более чувствительную матрицу и захватывают инфракрасный спектр не только ночью, но и днем.

Чтобы избежать подобного, производители встраивают в устройства так называемый механический инфракрасный фильтр (ICR), который днем закрывает матрицу и препятствует попаданию инфракрасного излучения, а ночью сдвигается и пропускает IR-лучи.

Следует также заметить, что ICR-фильтр может устанавливаться в камерах и без инфракрасной подсветки. Это позволит избежать инфракрасного спектра в дневное время, что улучшит цветопередачу видео.

Этот параметр определяет минимальное освещение, при котором видеокамера способна давать четкую картинку с незначительным количеством шумов. Он измеряется в люксах (лк) и чем ниже его значение, тем выше чувствительность устройства.

Если минимальная светочувствительность камеры составляет 0,3 лк, то устройство не даст вам четкое изображение в ночное время без дополнительной ИК-подсветки.

Чтобы избежать подобного, необходимо заранее знать условия съемки и подбирать камеру под них. Например, освещенность в ясный солнечный день имеет значения от 32 тысяч лк до 130 тысяч лк, в очень пасмурный день равна 100 лк, а ночью — 1 лк.

Еще одним параметром, определяющим качество видео, является величина соотношения мощности полезного сигнала к мощности шума. Она называется S/N Ratio и измеряется в децибелах (дБ).

Чем выше этот показатель, тем лучше. Например, для получения качественного видео, снятого современной камерой, величина S/N Ratio должна быть 40 дБ и выше.

Так как шумы при съемке видео будут всегда, производители активно занимаются разработкой шумоподавляющих технологий. На данный момент распространены две: 2D DNR и 3D DNR.

Первый алгоритм фильтрации устарел и имеет свои недостатки. Обычно он убирает только те шумы, которые находятся на переднем плане. Также при обработке сигнала детали изображения становятся немного расплывчатыми.

Второй алгоритм новее и работает лучше, чем первый. Он способен убирать близлежащие шумы, снег и зернистость на дальнем фоне.

Кадровая частота, или FPS, определяет плавность итогового видео. Чем выше этот показатель, тем качественнее будет результат.

Чтобы получить плавную картинку, необходимо иметь FPS не ниже 16–17 кадров в секунду. У профессиональных камер этот показатель может быть выше 120 кадров в секунду.

Однако нужно учесть тот факт, что чем выше кадровая частота, тем тяжелее будет видео и тем больше будет загружен канал передачи.

Чтобы избежать засвеченных участков на видеозаписи, производители оснащают свои камеры такими технологиями, как WDR, HLC, и BLC.

WDR — это широкий динамический диапазон. Всего используется две разновидности этой технологии: Digital WDR и True WDR. Первая использует программные алгоритмы, которые искусственно осветляют темные участки кадра. Вторая же делает снимки с разной экспозицией, чтобы потом совместить их для получения кадра с оптимальной яркостью всех объектов.

HLC — это компенсация яркой засветки. Подход основан на том, что алгоритмы фактически убирают, из расчета средней яркости, ослепляющие источники света и делают темные части изображения различимыми. Технология полезна в тех задачах, где изображение может быть испорчено светом фар или прожекторами.

BLC — это компенсация встречной засветки. Технология улучшает экспозицию всей картинки с помощью цифровых сигнальных процессоров, которые делят изображение на области и регулируют освещение на каждой из них. BLC просто осветляет кадр, а это может привести к тому, что слишком освещенные области изображения превратятся в белые пятна.

На эти характеристики следует обратить внимание, когда вы покупаете видеокамеру для наружного видеонаблюдения или для съемки в помещениях с высокой влажностью и пылью.

Класс IP (Ingress Protection) показывает степень защиты устройства от проникновения твёрдых предметов и воды. Маркировка степени защиты камеры указывается с помощью международного знака защиты (IP) и двух цифр после. Первая цифра имеет числовой диапазон от 0 до 6 и показывает защиту от попадания твердых предметов, а вторая — от 0 до 8 и определяет защиту от проникновения воды.

Самыми распространенными среди наружных камер видеонаблюдения классами защиты являются IP66 и IP67.

Класс IP66 означает, что камера полностью пыленепроницаемая, а также защищена от морских волн и сильных водяных струй. То есть, попавшая внутрь корпуса вода не нарушит работу устройства.

Класс IP67 означает, что устройство полностью пыленепроницаемое и защищено от частичного или кратковременного погружения в воду. То есть исключается проникновение воды в опасных количествах при погружении камеры в воду на определенное время при определенном давлении.

Класс IK, или антивандальный стандарт, показывает степень защиты от механических воздействий. Уровни защиты этого стандарта находятся в числовом диапазоне от 00 до 10 и зависят от способности корпуса противостоять воздействию энергии удара, измеряемой в джоулях (Дж).

Самым распространенным среди наружных камер видеонаблюдения классом защиты является IK10. Он означает, что устройство способно выдержать энергию удара в 20 Дж, то есть падение груза весом до 5 кг с высоты до 40 см.

После разбора характеристик камер стоит также рассмотреть коммуникационные интерфейсы, предлагаемые производителями устройств. Из часто используемых можно выделить:

По своему опыту скажем, что одним из ключевых факторов успеха CV-решения является правильно подобранная видеокамера. Следует помнить, что одно и то же устройство не всегда подойдет для разных задач, поэтому к выбору камеры стоит подойти ответственно, изучив релевантные характеристики под предполагаемые сценарии использования.

Например, если вы хотите распознавать и отслеживать машины на улице в режиме реального времени в течение всех суток, то мы бы посоветовали двумерную IP-камеру со CMOS-матрицей, размером 1/4". Объектив умеренно широкоугольный, с фокусным расстоянием 14 мм. Устройство должно иметь АРД и апертуру F/2,8.

Чтобы видеть и различать машины, нужно разрешение от 720р и FPS от 17. Если область съемки не имеет дополнительной иллюминации в ночное время, то пригодится ИК-подсветка и ИК-фильтр.

Также не стоит забывать о S/N Ratio от 40 дБ и о поддержке WDR. Так как съемка будет производиться на улице, то было бы хорошо иметь классы защиты IP67 и IK10. Что касается интерфейса связи, то подойдет PoE.

В случае, когда вы хотите распознавать лица посетителей в банке, например, то можно использовать также двумерную IP-камеру со CMOS-матрицей, размер которой 1/4".

Если камера будет находится возле кассы, достаточно будет нормального объектива, с электронным затвором и апертурой F/2,8. Чтобы распознавать клиентов, нужно разрешение от 720р, более 17 FPS и S/N Ratio от 40 дБ. Классы защиты — IP66 и IK10. Коммуникационный интерфейс можно использовать CameraLink или PoE.

Когда речь заходит о применение видеокамер и компьютерного зрения на производстве, предположим, чтобы детектить количество напитка в бутылке в процессе разлива, то вам нужна камера машинного зрения. Они отлично справляются с подобными задачами.

Также, если вам требуется регистрировать показания приборов с помощью видеокамер и алгоритмов, тоже рекомендуем камеру машинного зрения.

Если вы намерены управлять дроном в режиме FPV, например, то здесь можно использовать аналоговые камеры. Для тех, кто любит летать низко, быстро и в обход препятствий, всегда необходимо иметь запасную аналоговую систему на борту. Аналоговый видеопоток по своей сути является «мгновенным» и не имеет задержек, что при управлении дроном значительно уменьшает вероятность врезаться в дерево. Однако уже активно начали появляться цифровые FPV с низкой задержкой сигнала.

Для обнаружения аномалий, например, лесных пожаров, важно, чтобы была камера с разрешением от 2,07 Мп и с FPS от 25. Также необходимо наличие ИК-подсветки и класс защиты IP67.

Если хотите обнаруживать быстродвижущиеся объекты, предположим мячики или спорткары, то требуется кадровая частота от 30 и такая же быстрая нейронная сеть.

Мы надеемся, что наш материал станет полезным и вы сделаете действительно клевую систему компьютерного зрения.

#machinelearning #ai #cv #ml #camera