이미지 전처리: 이미지 처리 시스템 강화 및 간소화
온보드 이미지 및 신호 처리
산업용 머신 비전 어플리케이션에서 프레임 그래버는 카메라와 PC를 연결하는 중간 역할을 합니다. 이 백서에서는 FPGA 프레임 그래버에서의 실시간 이미지 및 신호 처리와 관련된 다음과 같은 질문들을 다루고 있습니다.
실시간 이미지 처리 체인을 어떻게 끊김 없이 유지할 수 있을까요?
하드웨어 프로그래밍은 얼마나 복잡한가요?
어떤 어플리케이션이 FPGA에 특히 적합한가요?
카메라를 통한 이미지 획득부터 프레임 그래버의 처리, 그리고 호스트 PC의 결과 출력에 이르기까지, 프레임 그래버의 이미지 전처리는 이 전체 흐름에서 가장 중요한 연결 고리입니다. 전처리를 통해 이미지 데이터는 각 어플리케이션에 맞게 최적화되며, 개별 이미지의 손실 없이 안정적으로 후속 처리 단계로 전송되어 시스템의 원활한 운영을 보장합니다. 전처리의 목적은 데이터를 사전 가공하여 후속 이미지 처리 단계를 간소화하고, 호스트 PC의 처리 부담을 줄이는 데 있습니다.
전처리에는 특정 특성이나 구조가 약하게 표현된 경우 이를 강조하여 더 잘 시각화하거나, 후속 처리에 중요한 특징(예: 영역 구분, 세분화, 특징 추출 등)을 부각하는 작업이 포함됩니다. 일반적으로 이러한 작업은 전체 원본 이미지(raw image)를 기반으로 수행됩니다. 또한 이미지 콘텐츠에 따라 자동으로 관심 영역(ROI: Region of Interest)을 선택하거나 JPEG 이미지 압축을 수행하는 기능도 포함되며, 이에 대해서는 이후에 더 자세히 다룹니다.
사용되는 전처리 단계는 카메라 센서의 이미지 품질에 따라 달라집니다. 이 모든 과정은 프레임 그래버의 FPGA 프로세서에서 실행되며, 비전 센서 또는 임베디드 시스템과 같은 다른 비전 하드웨어에서도 수행될 수 있습니다. 이러한 비전 장비에서는 VisualApplets라는 사용이 쉬운 그래픽 개발 환경을 통해 전처리뿐만 아니라 전체 이미지 처리 솔루션까지 FPGA에 구현할 수 있어, 실시간 처리가 가능한 시스템을 효과적으로 구축할 수 있습니다.
카메라 내 전처리
USB3 Vision 및 GigE Vision과 같은 프레임 그래버가 필요 없는 카메라 인터페이스나 임베디드 시스템에서는 전처리가 카메라 및 센서 내부에서 직접 수행됩니다. GigE Vision과 같은 카메라 인터페이스 또는 컴퓨터 인터페이스에서 전송 가능한 데이터 양이 제한되거나, 연산 성능이 낮은 임베디드 시스템을 사용할 경우에는 전처리가 반드시 필요합니다. 이미지 데이터를 카메라 내부에서 사전에 줄이면 전송 및 분석 시간이 단축되어 전체 어플리케이션의 처리량을 높일 수 있습니다.
Basler 카메라는 디베이어링, 컬러 앤티앨리어싱, 이미지 샤프닝, 노이즈 감소 등 기본적인 전처리 기능을 이미 탑재하고 있습니다. 이러한 기능을 통해 이미지의 선명도, 디테일, 해상도가 크게 향상되며, 동시에 노이즈는 감소됩니다. 여기에 프로그래밍 가능한 프레임 그래버를 추가하면, 필터 연산이나 색 공간 변환 등 보다 복잡한 계산도 가능해져 CPU의 부담을 줄일 수 있습니다.
프레임 그래버를 통한 전처리 확장
CoaXPress, Camera Link, Camera Link HS와 같은 여러 카메라 인터페이스에는 프레임 그래버가 필수적이며, 실시간 요구사항이나 대용량 데이터 처리 시에도 꼭 필요합니다. 프레임 그래버를 통해 FPGA 상에서 훨씬 더 다양한 전처리 작업을 수행할 수 있습니다.
표준 프레임 그래버를 사용하는 이미지 처리 시스템에서는 어플리케이션에 따라 고품질 디베이어링, 룩업 테이블(LUT), 미러링 등의 전처리 기능이 기본적으로 포함되어 있습니다.
프로그래머블 프레임 그래버를 사용하면 그 가능성은 더욱 확장됩니다.
데드 픽셀 보정
화이트 밸런싱
셰이딩 보정
흐릿한 영역 제거
필터(예: 스무딩 필터)를 통한 평균화 기반 이미지 노이즈 감소
너무 밝거나 어두운 이미지 영역 보정을 위한 HDR 처리
아핀 변환 등을 통한 구조의 기하학적 왜곡 보정
LUT 적용, 히스토그램 평탄화/스트레칭 등을 통한 명암 대비 향상
색 공간 변환
고급 필터링 기능 등
이와 같은 다양한 전처리 작업은, 컴퓨팅 성능에 따라 정도의 차이는 있지만, 모든 VisualApplets 호환 비전 장비에서 구현할 수 있습니다. 이를 통해 카메라 및 기타 비전 하드웨어에서도 실시간 처리가 가능해지며, 새로운 어플리케이션 영역이 열리게 됩니다. VisualApplets를 사용하면 FPGA의 회로 구성이나 타이밍에 대한 전문 지식 없이도 구현이 가능하므로, 어플리케이션 엔지니어나 소프트웨어 엔지니어도 손쉽게 개발할 수 있습니다.
Visual Applets 다운로드
블롭(Blob) 분석
VisualApplets를 활용한 개발 가능성은 단순한 이미지 전처리를 훨씬 뛰어넘습니다. 이 소프트웨어는 블롭 분석과 같은 다양한 이미지 처리 작업을 효과적으로 해결할 수 있습니다. 블롭 분석은 서로 연결된 픽셀 영역을 배경과 다른 개별 객체로 분리하는 작업(세분화, Segmentation)이며, 각 객체에 대해 면적, 윤곽선 길이, 바운딩 박스 좌표 등의 속성을 할당하는 분류(Classification) 과정도 포함됩니다. 이러한 처리가 전처리 단계에서 이미 수행된다면, 이미지가 처음 저장되기 전에 전체 세분화 작업의 상당 부분이 프레임 그래버 상에서 완료됩니다.
JPEG 압축을 통한 데이터 용량 절감
고속·고해상도 이미지 센서와 컬러 처리 기술의 발전으로, 카메라에서 프레임 그래버로 전송되는 이미지 데이터량은 계속 증가하고 있습니다. 예를 들어 CXP-12의 4링크 구성에서는 최대 5GBps에 이릅니다. 이러한 데이터를 효과적으로 처리하기 위해, JPEG 압축을 통해 이미지 데이터 양을 크게 줄일 수 있습니다. 예를 들어 자동차 산업의 레이저 용접 검사에서, 프레임 그래버 입력 대역폭 기준으로 초당 약 100MB의 데이터가 발생하던 것을 JPEG 압축을 통해 약 5MBps로 줄일 수 있었습니다. 또한, 이미지 한 장을 전송하는 데 필요한 데이터 양이 줄어들면서 프레임 속도 역시 크게 향상될 수 있습니다. 이 방식은 특히 JPEG 압축이 카메라 내부에서 바로 수행되는 경우에 효과적이며, 전송 경로가 병목이 되는 상황에서도 효율적으로 대역폭을 활용할 수 있게 해줍니다.
액추에이터 및 트리거링 제어
프레임 그래버는 디지털 I/O 인터페이스를 통해 카메라 트리거링, 조명, 액추에이터 제어, 그리고 센서 신호 평가 등을 위한 신호 처리를 수행합니다. 복잡한 제어 루프와 전처리와의 결합도 가능합니다. 예를 들어, 이미지 전처리를 통해 노출 측정을 수행한 후, 그 결과를 바탕으로 조명 강도나 카메라 트리거 신호를 보정 제어하는 것도 가능합니다.
강력하고, 가속화되며, 효율적인 이미지 처리
결론적으로 이미지 전처리는 연산 집약적인 알고리즘을 가속화하고 어플리케이션의 성능을 향상시키는 데 중요한 역할을 합니다. 또한, 초고해상도 및 고대역폭의 이미지 데이터를 더욱 효율적으로 처리함으로써 데이터 처리량을 높이고, 이미지 분석의 정확성과 안정성을 향상시킵니다. 이를 통해 고속 카메라의 전체 대역폭을 손실 없이 안정적으로 전송할 수 있으며, 호스트 PC의 CPU와 후속 분석 소프트웨어의 부하를 효과적으로 줄일 수 있습니다.
VisualApplets를 활용하면, FPGA 상의 이미지 전처리를 하드웨어 프로그래밍 지식 없이도 최종 사용자가 손쉽게 구현할 수 있습니다. 이로 인해 어플리케이션 요구 사항이 변경되더라도 카메라를 새로 교체할 필요 없이, 카메라, 프레임 그래버 및 기타 비전 장비의 기능을 빠르고 유연하게 조정할 수 있습니다.
주요 이점
더 간단한 카메라 인터페이스로 시스템 설계 간소화
데이터 처리량 향상으로 고속 검사 실현
GigE와 같은 저가형 인터페이스로 비용 절감
연산 집약적인 알고리즘 가속화
어플리케이션 전반의 성능 업그레이드
실시간 이미지 처리로 새로운 어플리케이션 가능성 확보
저사양 프로세서에서도 안정적인 성능 구현
최적화된 신경망
산업용 PC(IPCs) 절감
CPU 부하 최소화 – 전체 시스템 여유 확보
이미지 분석의 정확도 및 신뢰성 향상
자체 개발 불필요
어플리케이션 예시: 효율성과 품질을 모두 만족시키는 최고의 이미지 처리 솔루션
대표적인 어플리케이션으로는 컬러 디베이어링(Debayering), 색 공간 및 비트 폭 변환이 있으며, 이를 통해 카메라의 원본 이미지를 인터페이스의 최대 속도로 전송할 수 있어 대역폭을 최대한 활용할 수 있습니다. 이 과정을 통해 프레임 그래버는 호스트 PC에 전처리된 이미지를 제공할 수 있습니다.
HDR(High Dynamic Range), JPEG 압축, 자동 ROI 선택, 3D 레이저 삼각 측정과 같은 어플리케이션은 전처리 단계에서부터 데이터량을 효과적으로 줄여줍니다.
조명 및 이미지 왜곡 보정은 이미지 품질을 높여 후속 분석 단계를 단순화시켜 줍니다.
객체 분할 및 특징 추출(예: 블롭, 무게 중심, 각도, 이심률, 이미지 모멘트 등)은 분류를 위한 속성을 다음 처리 단계에 제공합니다.
인쇄물 검사에서는 마스터 이미지와 비교하기 위해 획득한 이미지의 위치를 고정밀도로 인식하고 정렬하는 것이 필수입니다. 이때 색상 왜곡을 최소화하기 위해 서브픽셀 단위의 기하학적 왜곡 보정이 사용되며, 엣지나 이미지 특징을 기준으로 자동 위치 인식이 수행됩니다.
