컨베이어 벨트 위에서 움직이는 물건을 상상해 보세요. 물건이 로봇의 손이 닿는 곳에 도달하면, 로봇은 3D 비전 시스템을 통해 물건을 인식하고, 하나씩 피킹하여 다른 위치에 놓습니다. 로봇은 특정한 기준에 따라서 물건을 분류할 수도 있습니다. 기존에는 3D 감지 한계로 인해 컨베이어 벨트의 움직임을 멈추지 않고는 이 작업을 수행할 수 없었습니다. 이 때문에 사이클 타임이 길어지고 전체적인 효율성이 떨어질 수밖에 없었죠.
즉, 각 물체를 인식하고, 탐색하고, 검사하고, 선택하는 작업을 수행하려면 로봇이 물체의 위치를 정의하는 정확한 X, Y 및 Z 좌표를 사용하여 정확한 3D 재구성(3D reconstruction)을 실행해야 합니다. 정확한 심도 정보를 제공하는 고품질 3D 데이터는 정밀한 로봇 내비게이션 뿐만 아니라 검사, 품질 관리, 표면 결함 감지, 치수 측정, 물체 처리 및 정렬 등 다양한 다른 로봇 작업에도 필수적입니다.
고품질 3D 데이터를 전달할 수 있는 많은 3D 감지 기술이 있습니다. 그러나 이러한 기술들은 스캔한 개체가 이동하지 않는 경우에만 가능합니다. 물체나 카메라가 움직이면 출력이 왜곡되는데, 이러한 사실 때문에 자동화할 수 있는 애플리케이션의 범위가 크게 제한됩니다.
매우 빠른 스캐닝 속도와 거의 실시간 획득을 제공하는 접근 방식이 있지만, 이 방식으로는 낮은 해상도와 높은 소음을 감수해야 합니다.
지난 몇 년간의 엄청난 발전에도 불구하고, 고품질 3D 데이터와 빠른 획득 속도를 동시에 제공할 수 있는 3D 감지 접근법은 없었습니다.
Photoneo는 3D 감지에 대한 기존의 접근 방식을 뒤집어서 병렬 구조광(Parallel Structured Light)이라고 불리는 새로운 특허 기술을 개발했습니다. 이 독특한 접근 방식은 ToF의 빠른 속도와 구조화된 조명 시스템의 정확성을 모두 갖추었습니다. 그러나 병렬 구조광은 이 두 가지 기술 중 어느 것도 사용하지 않습니다. 이는 특수 CMOS 센서의 개발이 필요한 완전히 새롭고 독특한 접근 방식입니다.
병렬 구조광 방식이 실제로 어떻게 작동하는지, 기존 기술과 어떻게 다른지 설명하기 전에 3D 감지 원리와 이 기술이 제공하는 주요 기술에 대한 간단한 개요를 살펴보겠습니다.
3D 감지의 원리
장면의 심도 정보를 결정하는 3D 스캐닝에는 삼각측량 기반 원칙(the triangulation-based principle)과 ToF 원칙이라는 두 가지 기본 원칙이 있습니다.
1) 다양한 시점에서의 삼각 측량
삼각측량 기반 원칙: 기준선을 형성하는 두 가지 시점에서 스캔한 물체를 관찰합니다. 기준선과 물체는 삼각형을 형성합니다. 이 삼각형의 각도를 측정함으로써 정확한 3D 좌표를 계산할 수 있습니다.
2) 빛이 이동하는 시간 측정
ToF(Time-of-Flight) 원리: 광원에서 방출된 광신호가 스캔한 물체와 충돌한 후 센서로 돌아오는 시간을 측정합니다.
위에서 설명한 두 가지 원칙 중 하나를 기반으로 3D 정보로 이미지를 생성하는 데 많은 기술을 사용할 수 있습니다.
3D 감지 접근 방식
A) 패시브 시스템(Passive System)
Passive system은 추가적인 광원을 필요로 하지 않습니다. 이 접근방식은 패시브 스테레오 시스템으로, 삼각측량법에 기반합니다.
패시브 스테레오 시스템은 텍스처가 필요한 두 이미지 사이의 상관관계를 찾습니다. 이미지 간의 차이를 기반으로 검사된 개체와의 거리(심도)를 식별합니다. 패시브 시스템은 빠른 수집 및 실시간 데이터를 제공하지만 정확도와 감도는 검사된 물체의 질감에 따라 달라집니다. 이는 만약 장면이 완벽하게 고른 하얀 벽으로 구성되어 있다면 패시브 시스템은 벽이 얼마나 멀리 떨어져 있는지 인식할 수 없다는 것을 의미합니다.
B) 액티브 시스템(Active System)
액티브 일루미네이션은 시간 측정 원리를 사용하는 ToF 뿐만 아니라 액티브 스테레오, 구조광 및 병렬 구조광 등 다양한 삼각측량 기반 시스템에서 사용됩니다.
액티브 시스템은 광 신호를 장면으로 보낸 다음 카메라와 소프트웨어로 신호를 해석합니다. 균질 영역은 장면에 전송된 라이트 코드 덕분에 문제가 발생하지 않습니다.
다양한 3D 감지 접근 방식이 아래 그림에 설명되어 있습니다.
마지막 평행 구조광 방식을 제외한 왼쪽의 네 가지 기존 기술은 각각의 애플리케이션에 적합하지만, 높은 스캔 속도와 높은 포인트 클라우드 해상도와 정확도를 모두 제공할 수는 없습니다.
다시 원래의 질문으로 돌아가서, 병렬 구조광 기술은 어떻게 움직이는 물체를 포착할 수 있을까요?
병렬 구조 조명의 “병렬” 방식
위에서 기존의 기술로는 움직이는 물체를 고품질로 포착할 수 없다는 것을 배웠습니다. 구조광 기술로 서브밀리미터 해상도를 달성할 수는 있지만 움직이는 물체는 포착할 수 없습니다. 구조광은 한 번에 하나의 노출을 가능하게 하는 단일 탭 방식이기 때문입니다. 여러 빛 패턴을 차례로 장면에 투영해야 하는데, 이를 위해서는 장면이 정적이어어야 합니다. 움직이면 코드가 깨지고 3D 포인트 클라우드가 왜곡됩니다.
구조광 방식은 카메라와 프로젝터의 역할을 바꿔주기도 합니다. 프로젝터에서 여러 개의 패턴을 순차적으로 방출하는 대신, 매우 간단한 레이저 스위프를 장면 전체에 전송하여 CMOS 센서에서 패턴을 구성합니다. 이 모든 과정이 한번에 이루어질 수 있습니다.
Photoneo 3D 카메라 MotionCam-3D는 최대 144km의 이동하는 물체를 스캔할 수 있으며, 정적인 장면에서도 완벽하게 작동합니다.
내부 센서 작동 방식
병렬 구조광 기술은 모자이크 픽셀 패턴이 있는 멀티 탭 셔터를 특징으로 하는 특별한 CMOS 센서의 개발이 필요했습니다. 이는 단순히 잡음을 줄이거나 해상도를 높이는 또 다른 이미지 센서가 아닌, 근본적으로 이미지를 포착할 수 있는 방법을 변화시키는 센서입니다. 고유한 모자이크 픽셀 패턴이 아래 애니메이션에 설명되어 있습니다.
위와 같이 센서는 슈퍼 픽셀 블록으로 나뉘며, 이러한 블록 내의 각 픽셀 또는 픽셀 그룹은 단일 노출 창 내의 다른 신호에 의해 독립적으로 변조될 수 있습니다.
ToF 시스템의 멀티탭 센서는 하나의 노출 창에 셔터 타이밍이 다른 여러 이미지를 캡처할 수 있지만, 센서 픽셀은 모자이크 CMOS 센서의 경우와 마찬가지로 개별적으로가 아니라 모두 동일한 방식으로 변조됩니다. ToF 접근 방식의 결과는 획득 속도는 빠르지만 해상도는 낮습니다.
로봇 애플리케이션에 어떤 영향을 미치나요?
간단히 말하자면, 로봇 작업이 정적인 물체에 국한될 필요가 없어집니다. 또한 로봇이 물체를 인식하고 조작하기 위해 작동을 멈출 필요도 없어집니다.
이제 모든 것이 중단 없이 신속하게 이루어질 수 있습니다. 동적 장면을 스캔하는 기능은 사이클 타임을 단축하고 생산성을 높이며, 자동화할 수 있는 애플리케이션의 범위를 무제한으로 확장시킬 수 있습니다.
– 컨베이어 벨트를 타고 로봇으로 이동하여 인식 및 픽업되는 물체: MotionCam-3D가 스캔하기 위해 컨베이어 벨트를 멈출 필요가 없습니다.
– 로봇 암에 부착된 MotionCam-3D: 카메라가 스캔하는 동안 로봇 암의 움직임을 멈출 필요가 없습니다.
– 작업자와 함께 일하는 협동 로봇: MotionCam-3D는 움직임과 진동의 영향을 받지 않는 유일한 3D 카메라입니다.
– 식물의 3D 스캐닝: 표현형 목적이나 분류 및 양 측정
– 동물의 3D 스캐닝: 건강 상태 모니터링 등
– 의료 등의 목적을 위한 인간의 신체 3D 스캐닝
요약
다양한 3D 감지 기술은 각각의 장단점이 있으므로 용도에 맞게 선택해야 합니다.
그러나 움직이는 장면의 캡쳐 및 3D 재구성에 있어서는 Photoneo의 병렬 구조광 방식만이 높은 정확도와 고해상도를 제공합니다. 이 기술은 ToF 방식의 빠른 속도와 구조광 방식의 고해상도 및 정확도를 제공합니다. 이는 특수 모자이크 셔터 CMOS 센서 덕분으로, 기존의 접근 방식과 근본적으로 다른 3D 이미지 캡쳐 방식을 사용합니다.
병렬 구조광 방식은 로봇 비전을 혁신하고, 기업이 완전히 새로운 자동화 영역으로 진입할 수 있도록 합니다.
