멀티뷰 카메라 영상 스티칭 기술의 원리

그만큼 멀티룸 이미지 스티칭 기술은 다양한 관점에서 촬영한 이미지를 완전하고 일관된 광시야로 병합하는 것을 목표로 합니다. 핵심 원리는 다음과 같은 핵심 단계를 포함합니다.

멀티 카메라 시스템의 카메라는 동시에 다른 부분의 이미지를 캡처하기 위해 동기적으로 트리거됩니다. 이를 위해서는 캡처된 이미지의 시간적 일관성을 보장하기 위해 카메라 간의 정확한 클록 동기화가 필요하며, 촬영 시 시간 차이로 인해 장면의 동적 객체가 정렬되지 않거나 흐릿해지는 것을 방지합니다.

카메라로 촬영한 각 이미지에 대해 특징 추출 알고리즘을 사용하여 눈에 띄는 특징점을 식별합니다. 일반적인 특징 추출 알고리즘에는 SIFT(Scale-Invariant Feature Transform) 및 SURF(Speeded Up Robust Features)가 있습니다. 이러한 알고리즘은 다양한 조명, 크기 및 회전 변경 하에서 이미지의 모서리 및 모서리와 같은 특징을 정확하게 식별하여 후속 이미지 매칭을 위한 기반을 제공할 수 있습니다. 예를 들어, SIFT는 다중 크기 공간에서 극대점을 감지하기 위해 가우시안 차분 피라미드를 구축하고 이러한 극대점에 방향과 설명자를 할당하여 크기와 회전에 대해 불변하게 만듭니다.

다른 카메라의 이미지에 있는 특징점은 공간적 대응 관계를 결정하기 위해 쌍으로 매칭됩니다. 이 단계에서는 일반적으로 유클리드 거리 또는 코사인 유사도를 사용하여 두 특징점 설명자의 유사도를 측정하는 것과 같은 특징 설명자 기반 매칭 방법을 사용합니다. 유사도가 설정된 임계값을 초과하면 매칭으로 간주됩니다. 이 과정에서 거짓 매칭의 가능성을 고려하고 RANSAC(Random Sample Consensus)과 같은 알고리즘을 사용하여 잘못된 쌍을 제거하여 매칭의 . 예를 들어 유클리드 거리를 사용하여 벡터 공간에서 두 특징점 설명자 벡터 간의 직선 거리를 계산하며, 거리가 작을수록 유사도가 높습니다.

특징점 매칭을 완료한 후, 매칭된 점 쌍을 기반으로 이미지 간의 기하학적 변환 관계가 계산됩니다. 일반적인 모델에는 아핀 변환과 원근 변환이 있습니다. 장면이 대략 평면인 경우 아핀 변환은 이미지 간의 매핑 관계를 설명할 수 있습니다. 장면에 깊이가 있는 경우 원근 변환이 더 적합합니다. 변환 모델의 매개변수는 최소 제곱과 같은 최적화 알고리즘을 사용하여 해결하여 이후 매칭된 점의 위치 오차를 최소화합니다. 예를 들어, 원근 변환에서 알려진 매칭된 점 쌍을 사용하여 방정식 시스템을 구성하여 원근 변환을 나타내는 8개 매개변수를 해결하고, 이를 통해 이미지 간의 정확한 매핑 관계를 구합니다.

계산된 변환 모델을 기반으로 다양한 카메라의 이미지를 융합합니다. 융합 과정에서 이미지와 대비와 같은 요소를 고려하고 가중 평균화 및 라플라시안 피라미드 융합과 같은 적절한 융합 알고리즘을 사용하여 눈에 띄는 이음새 없이 이미지 간 전환이 자연스럽도록 합니다. 가중 평균화 방법은 겹치는 영역과 픽셀 위치를 기반으로 각 픽셀에 다른 가중치를 할당한 다음, 겹치는 부분의 픽셀 값을 가중치와 합산하여 부드러운 전환을 달성합니다. 라플라시안 피라미드 융합 방법은 먼저 이미지를 다른 해상도 피라미드 레이어로 분해한 다음 각 레이어를 개별적으로 융합하고 마지막으로 완전한 융합 이미지를 재구성합니다.

위와 같은 정밀하고 복잡한 단계를 거쳐 다중 시점 카메라 이미지 스티칭 기술은 다중 관점 이미지를 파노라마 이미지로 변환하여 보안 감시, 가상 현실, 자율 주행 등 다양한 분야에 강력한 시각적 지원을 제공할 수 있습니다.