머신비전 소프트웨어 기술

머신비전 소프트웨어 기술

머신비전 소프트웨어 기술

Deep Learning

딥 러닝은 다량의 데이터 속에서 핵심적인 내용을 학습하는 알고리즘입니다. 고객이 자체 분류기(class)에 영상을 쉽게 할당하여 학습시킬 수 있습니다.  이전에 검사할 수 없었던 문제를 쉽게 해결할 수 있는 새로운 머신 비전 솔루션입니다.

그림 a) 픽셀 정밀도 엣지 검출
그림 b) 서브픽셀 정밀도 엣지 검출
그림) 서브픽셀 정밀도를 갖는 간격 측정
그림) 자동으로 측정할 영역을 찾고, 스위치 핀들의 폭과 핀간 거리를 자동 측정
그림) IC 리드들의 폭과 리드 사이의 거리 자동 측정
그림) 양 면의 리드의 길이
그림 a) 원본 이미지
그림 b) 존재하는 모든 반경을 검출
그림) 톱니바퀴에서 3개의 원을 검출
그림) 나사산의 최소, 최대 거리측정
그림) 위치가 바뀌어도 윤곽선을 자동으로 추출 & 선, 원을 자동 측정
그림) 드릴 구멍의 위치를 찾고 직경을 측정
그림) 자동으로 개체의 윤곽을 서브픽셀 정밀도로 추출한 후 선과 타원들을 분리
그림) 원하는 부분의 윤곽만을 서브픽셀 정밀도로 추출​
그림) 모든 면도날을 검사하여 누락된 부분을 감지하고 표시합니다
그림) 다양한 위치에 있는 검사대상의 폭과 간격들을 한번에 측정​
그림) 다양한 위치에 있는 검사대상의 원과 길이 들을 한번에 측정​

표면 검사(Surface Inspection)

제품의 표면 또는 포장의 표면에서 발생하는 다양한 종류의 비전 검사를 고속으로 수행 할 수 있습니다. 예를 들면, 코팅표면에서 발생하는 홀, 다른 물질의 혼입, 스크래치, 주름, 크랙, 오염 등의 이상 유무를 자동으로 수행합니다.

그림) 알약 포장재의 결함을 인식

금속 표면의 흠집을 검출

이 작업의 가장 큰 어려움은 동일하지 않은 배경과 긁힌 자국이 얇은 구조라는 점입니다

그림 가) 금속표면 원본 이미지
그림 나) 한쪽 방향으로만 추출된 이미지
그림 다) 양쪽 방향으로 추출된 이미지
그림)
a) 매우 흐릿한 디펙트 이미지
b) 검출된 디펙트
그림) 돌출된 불량 상태 검출 및 경계선 표시

넥스트AOI㈜는 아래와 같은 매우 어려운 조건의 Blob분석을 할 수 있습니다

그림) 흐릿하게 보이는 작은 입자들 검출 a) 원 이미지, b) 검출된 작은 입자들

그림) 육각형의 크리스탈을 한번에 고속으로 자동 검출

a) 원 이미지(화살표는 찾아야 할 육각형 모양의 크리스탈을 표시)
b) blob 분석 알고리즘 적용 결과
c) 별도의 영상처리를 추가하여, 육각형을 가진 크리스탈만 검출

형상 인식(Matching)을 통한 양품, 불량품의 검사

검사제품의 위치가 바뀌었거나, 여러 제품이 하나의 영상 속에 섞여있거나, 일부가 안보이거나, 일부의 모양이 바뀌었더라도, 서브픽셀의 정확도를 가지고 극히 빠른 속도와 압도적인 형상인식 기술로 검사제품을 파악하고 특정 위치를 측정할 수 있습니다.

비전 검사를 위해서 고객이 보유한 CAD 모델을 이용하여, 검사할 제품의 형상을 자동으로 파악하고, 제품내의 특정 위치를 찾고, 측정값을 보여줄 수 있습니다. 이러한 독특한 비전검사 기술은 로봇이 파악된 위치로 이동하게 하는 등의 다양한 가능성을 열어 줍니다.

그림 a) 관심영역을 설정
그림 b) 같은 제품들이 뒤섞여 있음
그림 c) 일부분만 보이는 개체까지도 패턴매칭 알고리즘에 의해 자동 검출 & 측정
그림: 3D 표면 검사 기술을 사용하여 에러 찾기
그림) 국적이 다른 여러 동전들을 원산지별 구분 & 국적을 표시

PCB의 부품 위치 인식

이 작업은 한 단계에 인쇄된 회로 기판 위의 여러 부품들을 찾는 것입니다. 인쇄된 회로 기판에서 일반적으로 여러 개의 다른 부품들이 장착 되며 이 부품들의 위치는 장착 과정에서의 오차 때문에 달라집니다. 빠르고 견고한 방법으로 모든 부품들의 위치를 찾기 위해 컴포넌트 기반 매칭이 사용됩니다

그림 가) 부품들의 트레이닝(관심영역 설정 등록)
그림 나) 각기 다른 이미지에 위치하고 있는 설정된 부품들을 찾음
그림: 포커스가 잘 맞지 않은 부품까지도 검출
그림) 조명이 일정하지 않은 환경에서 뚜껑들을 검출
그림) 불량품을 검출: “Mesh not OK” a) 정상품 메쉬
b) 섬유 이물질을 검출

검사물의 종류별 분류(Classification)

검사물은 각각 색상, 질감, 크기 또는 특정 모양을 갖고 있습니다. 다양한 검사물의 각 종류를 미리 등록하면, 프로그램이 같은 종류끼리 분류 할 수 있습니다.

그림) 사전에 종류별 이미지를 등록 작업
그림) 결과: 원본 이미지 및 3종류로 분류된 금속 부품
그림) 오렌지와 레몬을 구분
그림) 할로겐 전구의 양품, 불량품, 없음을 분류
그림: 서로 다른 색깔을 가진 퓨즈들의 색상을 구별 검출
그림: 열악한 조명하에서도 서로 다른 색깔을 가진 퓨즈들의 색상을 구별 검출
그림)적색 배경위에 놓여있는 서로 다른 색깔의 게임용 조각들의 색을 구분하여 검출
그림) 하나의 이미지에서 다수의 스위치를 검출하고, 스위치의 On/Off 상태를 구분

바코드, 데이터코드 인식

㈜사람소프트의 탁월한 문자인식 기술은 바코드가 어느 위치에 있는지에 관계없이, 한번에 여러 개의 바코드를 자동으로 검사하여 놀라운 속도로 읽을 수 있습니다.

특히 바코드가 극도로 얇은 1.5픽셀 이하의 경우, 영상의 이미지가 안 좋아서 전체에서 5%의 바코드만 보이는 경우, 95%의 바코드만 노출되어 있는 경우에도 바코드를 인식할 수 있습니다.

크기에 상관없이 ECC 200, QR, Micro QR, Aztec, and PDF417 코드들 및 뒤틀린 형태의 데이터 코드 역시 읽을 수 있습니다. 또한 다양한 조명상황의 여러 다른 표면에 인쇄된 “Direct Part Mark” (DPM) 코드들 역시 읽을 수 있습니다.

그림 가) CD에 새겨진 원형 모양의 바코드
그림 나) 해독된 바코드와 수평으로 정렬된 모양
그림) 하나의 이미지에 있는 많은 바코드를 한번에 인식
그림: 하나의 이미지에 있는 여러 다른 타입의 바코드들을 한번에 인식

2D 데이터 코드(Data Codes) 인식

(주)사람소프트는 휴대용 데이터 포맷 417 (PDF417), 매트릭스 ECC 200, QR 코드, 마이크로 QR 코드, 그리고 아즈텍(Aztec) 코드 등의 2D데이터 코드를 읽는 방법을 제공합니다.

2D 데이터 코드(2D바코드)는 다양한 분야에 사용되는데, 1 차원 바코드와 유사하게, 문자를 검정색, 흰색, 바 또는 점으로 그래픽하게 구성됩니다.

그림) 매우 열악한 조명하에서 흐릿하게 보이는 2D데이터 코드를 인식
그림) 비스듬하게 놓여진 데이터 코드를 인식
그림) 노이즈가 많은 데이터코드를 인식
그림) 구겨진 종이 위에 6개의 데이터 코드 중 2개를 인식
그림: PDF417 코드 인식

광학적 문자 판독장치(OCR)

강력한 분류기술은 고객사의 폰트를 분류하고 증명할 수 있습니다.

서식 읽기

이 작업은 양식내의 기호들을 읽고 추출하는 것입니다. 전형적인 문제는 그림에서 보이는 것과 같이, 기호들이 정확한 위치에 인쇄되어있지 않다는 것입니다.

그림) 정확한 위치에 인쇄되어있지 않는 서식들을 인식
그림) 인쇄된 문자 인식
그림) 정식 서체가 아닌 문자들을 인식
그림) 정식 서체가 아닌 문자들을 인식2
그림: 복잡한 배경위의 도트 프린트 읽기
그림) 제약업계에서 주로 사용되는 문자 양식들을 인식
그림 a) 원본 이미지
그림 b) 다른 방향의 같은 문자를 인식
그림) 겹쳐진 두 개의 스위치의 문자 및 스위치 상태를 동시에 인식

인쇄 검사

인쇄된 로고 검사

그림: 인쇄 검사
그림) 알약 포장재에 인쇄된 문자를 인식
그림) 구겨진 과자 봉지에 인쇄된 문자를 인식

포장 검사(2D & 3D)

비전 검사방법을 통하여 포장 전체의 상태, 이상 유무 및 제품을 분류할 수 있습니다.

그림) 박스 안에 있는 유리병을 인식
그림) 구겨진 과자 봉투에 인쇄된 문자를 인식

의학 영상 분석

그림: 혈관 형성: 새로운 혈관의 성장을 검출
그림: 세포 핵산 검출
그림: 혈관 촬영: 혈관 진단을 위해 서브픽셀의 정확도를 가진 검출
그림: 세균학: 배양된 박테리아를 자동으로 분류하고 카운트하는 검출입니다.
그림) 세포학: 매우 희미해서 구분이 어려운 세포질 속의 세포 핵을 자동으로 카운트합니다.
그림) a) 원본 이미지: 매우 검출이 어려운 흐릿한 영상의 혈관 b) 검출된 혈관:

3D 비전 검사

3D 비전이란? 

전통적인 2D기술로 해결 할 수 없었던 과제에 접근하기 위해 머신비전의 도움으로 3D정보를 이용하는 3차원 영상처리기술을 말합니다.

카메라에 대한 정밀한 3D 교정작업을 통해 3D 공간상의 가로, 세로, 높이 정보를 결정하고, 여러 방법으로 얻어진 3D 개체 모델을 통해, 검사제품의 위치, 방향이 바뀌었거나, 여러 제품이 하나의 영상 속에 섞여있거나, 일부가 안보이거나, 일부의 모양이 바뀌었더라도, 서브픽셀의 정확도를 가지고 극히 빠른 속도의 압도적인 형상인식 기술로 검사제품을 파악하고 특정 위치를 측정할 수 있습니다.

그림) CAD모델로부터 얻어진 3D 개체 모델

3D 비전 검사를 위해서, 고객이 보유한 CAD 모델을 이용하여, 검사할 제품의 3차원 형상을 자동으로 파악하고, 제품내의 특정 위치를 찾고, 측정값을 보여줄 수 있습니다. 이러한 독특한 3D비전검사 기술은 로봇이 파악된 위치로 이동하게 하는 등의 다양한 가능성을 열어 줍니다.

(a) 테스트용 원본이미지 b)달라진 방향과 위치에 있는 3D 모델 이미지를 인식
그림 a) 3D 이미지 센서(X, Y, Z)를 통해 얻어진 3D 개체 모델
그림 b) 배경을 제거하는 영상처리로 얻어진 3D 개별 부품들 모델 및 측정결과

이 작업은 그림에서 보이는 3D 클램프를 찾고 공간에서 위치와 방향을 결정하는 해당 클램프의 포즈를 정하는 것입니다

그림 가) 3D 매칭을 위한 클램프가 있는 원본 이미지
그림 나) 이미지에서 찾은 클램프의 3D 모델과 그 포즈를 표시
그림: 뒤섞이고 일부가 안 보이는 파이프 조인트를 검출
그림) 각기 다른 방향에 놓여진 엔진 부품의 특정 부위를 검출하고 각도를 인식
그림: 서로 관련 있는 부품들을 찾고 분류