Основы систем обработки изображений
![Основы систем обработки изображений](http://images-ctf.baslerweb.com/dg51pdwahxgw/6vtxQU0xj0SnZGVL7uepCN/afb9f5fb7a193b2f76b798ff53721dc2/image-processing-systems_Stage_Content_2400x800px.png?fm=webp&f=center&w=800&q=80&fit=pad)
Какую роль система обработки изображений играет в поддержании товарного вида продуктов питания?
Все мы выбираем свежие и внешне привлекательные продукты питания. Для обеспечения товарного вида и качества продуктов обычно используются системы обработки изображений. Благодаря получаемым изображениям производители принимают обоснованные решения, что в противном случае было бы невозможно.
Однако каким образом проектируются системы такого рода? Какие действия необходимы, какие факторы следует учитывать и какими возможностями располагают разработчики?
Представьте, что садовод, выращивающий яблоки, просит вас разработать систему машинного зрения для контроля качества яблок. Его цель состоит в обеспечении однородного качества продукции, что подразумевает возможность быстрой отбраковки плохих яблок. Перед ним стоят следующие вопросы:
Каковы точные требования к системе?
Какое разрешение и какие сенсоры нужны?
Необходима цветная или монохромная камера?
Какими функциями должна обладать камера и какой уровень качества изображения будет достаточным?
Объектив камеры: масштаб и технические характеристики
Какое освещение следует использовать?
Какое требуется аппаратное обеспечение ПК?
Какое необходимо программное обеспечение?
Какие требования предъявляются к системе обработки изображений и в каких условиях она будет эксплуатироваться?
Это самый очевидный вопрос, однако он часто упускается из виду, либо ответ на него оказывается слишком поверхностным. Но факт остается фактом: если вы изначально сформулируете точные требования, то сэкономите время и деньги в дальнейшем.
От системы машинного зрения требуется:
Только передавать изображения объекта контроля, с применением различных средств, таких как увеличение или специальное освещение, чтобы выявлять характеристики, которые могут быть не видны невооруженным глазом?
Рассчитывать объективные характеристики, например размер или постоянство размеров?
Проверять правильность положения объекта (как, например, в установках для монтажа с точным позиционированием)?
Определять свойства продукта для его последующей классификации?
![Разрешение и сенсор](http://images-ctf.baslerweb.com/dg51pdwahxgw/3IxquC4Dg8q2MbmrMb5qhg/417b8fe55c1bd8a7856f5751c6dcf10f/image-processing-systems_sensors_half_width_16_9.webp?fm=webp&f=right&w=800&h=450&q=80&fit=pad)
Разрешение и сенсор
Какие камеры используются для решения тех или иных задач? Сформулировав требования, можно определиться с целевыми характеристиками камеры, такими как разрешение и формат сенсора.
Но сначала выясним, что же именно означает понятие «разрешение». В классической фотографии разрешение соответствует минимальному расстоянию между двумя точками или линиями объекта съемки на изображении, которые воспринимаются как четко различимые.
В цифровой фотографии часто используются фразы наподобие «разрешение 2 мегапикселя». Это совершенно другое значение термина, которое подразумевает общее количество пикселей на сенсоре, а не его разрешение в строгом смысле этого слова. Истинное разрешение можно определить только для оптической системы в целом, то есть комбинации камеры и объектива и с учетом существующей архитектуры (то есть различных расстояний в заданной конфигурации системы). Нельзя сказать, что количество пикселей не имеет значения, — чтобы достичь высокого разрешения, действительно необходимо большое количество пикселей. По сути количество пикселей указывает на максимальное разрешение при оптимальных условиях.
Высокое разрешение или большая площадь контроля — для выполнения любого из этих требований сенсор камеры должен содержать как можно больше пикселей. Для оптического контроля большой площади на высоком разрешении может потребоваться несколько камер. На самом деле, более выгодным решением с точки зрения затрат, скорее всего, будет установить несколько камер со стандартными объективами, чем одну камеру с дорогостоящим специальным объективом, способным охватить всю требуемую площадь.
Размер сенсора и поле зрения определяют масштаб изображения, что в дальнейшем будет играть решающую роль в выборе объектива.
![Цветная или монохромная камера?](http://images-ctf.baslerweb.com/dg51pdwahxgw/62Xi4jyGbEuynLJnBJmox0/3f32a5b71a0e21b494c3efa68033c12d/image-processing-systems_mono-color_half_width_16_9.webp?fm=webp&f=center&w=800&h=450&q=80&fit=pad)
Цветная или монохромная камера?
В общем и целом, для большинства систем машинного зрения не нужна цветная камера. Цветные изображения зачастую всего лишь удобнее для восприятия наблюдателем. Кроме того, для реалистичного воспроизведения цветов с помощью цветной камеры необходимо использовать белое освещение. Если для обнаружения особых характеристик требуется цвет (например, выявление коричневых пятен на яблоке), цветная камера может быть необходима — но не всегда. Подобные характеристики во многих случаях могут быть выявлены на черно-белых изображениях с монохромной камеры, при условии использования цветного освещения. В этом могут помочь эксперименты с идеальными образцами. Если цвет не важен, предпочтительно выбрать монохромную камеру, поскольку цветные камеры по своей природе менее чувствительны, чем черно-белые.
Перед вами стоит чрезвычайно сложная задача контроля качества? Попробуйте использовать несколько камер, в особенности если требуется отслеживать ряд различных характеристик, для каждой из которых необходимо различное освещение или настройки оптической системы.
![функции и качество изображения](http://images-ctf.baslerweb.com/dg51pdwahxgw/6qyzmmUMWst2irbQA6nhMV/4f80a8d964c640b77b5a0ce79b8cf8b0/image-processing-systems_SNR_half_width_16_9.webp?fm=webp&f=center&w=800&h=450&q=80&fit=pad)
функции и качество изображения
Хорошая камера — это не просто количество пикселей. Особое внимание следует обратить на качество изображения и функции камеры.
При оценке качества изображения, получаемого цифровой камерой, разрешение выступает одним из важных факторов, но также необходимо учитывать следующие:
светочувствительность,
динамический диапазон,
соотношение «сигнал — шум».
С точки зрения функций камеры, одной из наиболее важных является скорость съемки, которая обычно выражается в кадрах в секунду (кадр/с). Это значение указывает на максимальное количество кадров, которое камера может отснять за одну секунду.
Объектив камеры: масштаб и технические характеристики
Высококачественные оптические системы дорого стоят. Во многих случаях стандартного объектива будет достаточно для решения поставленной задачи. Чтобы принять решение о подходящем объективе, потребуется информация о следующих параметрах:
Крепление объектива
Размер пикселя
Оптический формат
Масштаб изображения, то есть соотношение между размером изображения и размером объекта. Этот параметр соответствует отношению размера отдельных пикселей к разрешающей способности в пикселях (разрешающая способность в пикселях представляет собой длину стороны квадратной области на объекте контроля, которая должна отображаться точно на один пиксель сенсора камеры)
Фокусное расстояние объектива — определяет масштаб изображения и расстояние между камерой и объектом
Lighting intensity
При наличии этой информации гораздо проще изучать технические характеристики объективов, чтобы проверить, достаточно ли будет купить недорогой стандартный объектив или необходима дорогостоящая специальная оптика.
В качестве дополнительных критериев выбора служат такие характеристики объектива, как дисторсия, разрешающая способность (описывается с помощью кривой МПФ), хроматическая аберрация и спектральный диапазон, под который оптимизирован объектив.
К примеру, существуют специальные объективы для съемки в ближнем ИК-диапазоне, экстремально широкоугольные объективы («рыбий глаз») и телецентрические объективы, которые особенно подходят для измерения длины объектов. Однако такие объективы обычно предлагаются по высокой цене.
Здесь также действует правило: чтобы ответить на все волнующие вас вопросы, проведите испытания и сравните тестовые кадры.
![Объективы](http://images-ctf.baslerweb.com/dg51pdwahxgw/66xH8jVhVLQT4WzxTfFBKH/00e43b4b2f0b33a3c69691ad112ac22a/image-processing-systems_lenses_full_width_1150x_.png?fm=webp&f=center&w=800&h=450&q=80&fit=pad)
![Мы наслаждаемся фотографией в отраженном свете, тогда как витраж раскрывает свою красоту, только когда свет проходит через него.](http://images-ctf.baslerweb.com/dg51pdwahxgw/28GrGn0JwI8JZqVsqi7Goo/74590a04f07d29ad886111b6515f5af9/image-processing-systems_churchwindow_half_width_612x_16_9.webp?fm=webp&f=center&w=800&h=450&q=80&fit=pad)
Источники света
Если света недостаточно, мало что видно. Хотя этот факт кажется очевидным, он применим и к системам обработки изображений.
Для организации визуального контроля на высокой скорости, как правило, требуется высокочувствительная камера и мощный объектив. Однако во многих случаях для повышения яркости изображения проще изменить или усилить освещение. Существует целый ряд приемов, позволяющих повысить яркость изображения. Например, можно усилить естественное освещение или создать направленный источник света с помощью линзы или вспышки для создания подходящего освещения. Однако значение имеет не только яркость освещения. Важную роль также играет путь, который проходит свет через объектив, прежде чем попадет на сенсор.
Один из наглядных примеров в фотографии — использование вспышки. Если естественное освещение слишком рассеянное, включается вспышка, благодаря которой свет направляется прямо на объект. Однако в это случае необходимо учитывать возможные нежелательные блики света, отраженного от гладких поверхностей, которые способны уничтожить на изображении требуемые детали. При этом излучение яркого света на ровные поверхности с низкой отражающей способностью может сослужить хорошую службу на этапе обработки изображений. Для объектов с неоднородной поверхностью, от которой свет отражается в различных направлениях, больше подходит рассеянное освещение.
![Аппаратные средства ПК](http://images-ctf.baslerweb.com/dg51pdwahxgw/4cyLkVIVliQ64g3PBBgJea/531001c4765b906bdb051650393366a7/image-processing-systems_hardware_half_width__1_.png?fm=webp&f=center&w=800&h=450&q=80&fit=pad)
Аппаратные средства ПК
Необходимые аппаратные средства определяются исходя из поставленной задачи и требуемой скорости обработки изображений. В случае простых задач можно использовать обычный ПК и стандартные средства обработки изображений, тогда как для решения сложных задач и задач, предполагающих высокую скорость обработки данных, может понадобиться специальное оборудование.
![Программные средства](http://images-ctf.baslerweb.com/dg51pdwahxgw/5NaMHIIqeZTkQ3I0OWaHSH/f2d59abb0a6fdecee680d5ca9f1f126e/software-basler-01-teaser.webp?fm=webp&f=top_left&w=800&h=450&q=80&fit=pad)
Программное обеспечение
Для анализа изображения необходимо программное обеспечение. Большинство камер поставляются вместе с приложениями для просмотра изображений и настройки камеры — этого достаточно для начальной работы с камерой. Для решения особых задач обработки изображений требуется специальное программное обеспечение, которое приобретается отдельно либо разрабатывается по заказу.
Резюме
Прежде чем приступать к проектированию системы обработки изображений, необходимо обратить внимание на многие факторы, связанные со всеми используемыми компонентами, начиная с камеры и оптической системы и заканчивая осветительной установкой, аппаратными средствами ПК и программным обеспечением, необходимым для работы системы.
Эта задача решаема, надо только подойти к ней последовательно и заблаговременно определить требования и условия. Подробнее об этой теме можно почитать в следующем техническом документе: Основы систем обработки изображений
Соберите свою систему машинного зрения
Выбрать камеру, объектив и источник света — уже полдела! Без труда соберите систему с помощью инструмента Конфигуратор системы машинного зрения.