• 사전 정보나 매뉴얼 파라미터 튜닝 없이 동작하는 제로샷 3D 포인트클라우드 정합 기술 개발
• 다중 스케일 적응 정합 파이프라인 및 학습 기반 키포인트 검출기 제거로 일반화 성능 극대화
• 실내외, 다양한 센서 조건 포함한 11개 벤치마크에서 기존 SOTA 기법 대비 빼어난 성능 입증

박재식 교수 연구진이 MIT SPARK LAB과 함께 복잡하고 다양한 환경에서도 학습 없이 바로 동작하는 제로샷(Zero-Shot) 3D 포인트클라우드 정합(point cloud registration) 기술을 개발하였다. 3D 포인트클라우드 정합은 기술은 서로 다른 시점이나 위치에서 촬영된 포인트클라우드를 하나의 좌표계로 정확히 맞추는 기술이다. 해당 기술은 3차원 센서를 활용하는 자율주행, 로봇 내비게이션, 3D 지도 제작 등 다양한 분야에서 핵심적인 역할을 한다. 현존하는 정합기술이 가진 문제는 포인트클라우드가 라이다(LiDAR), 3D 스캐너, 심도 카메라(depth camera) 등 서로 다른 특성을 가진 센서에서 얻어지면, 데이터의 밀도, 해상도, 노이즈 특성이 달라 환경이 바뀌어 성능이 쉽게 저하된다.

특히 기존 학습 기반 정합 기술은 특정 센서나 환경에 맞춰 학습해야만 높은 성능을 낼 수 있었으며, 테스트 환경이 달라질 때마다 파라미터를 수동으로 조정해야 하는 어려움이 있었다. 연구진은 이러한 한계를 극복하기 위해, 사전 학습 없이도 다양한 환경에서 즉시 동작할 수 있는 제로샷 정합 파이프라인 BUFFER-X를 제안했다.

BUFFER-X는 데이터의 기하적 특성을 자동으로 분석해 최적의 파라미터를 설정하고, 사전 학습된 모델 없이도 정합에 필요한 핵심 지점을 안정적으로 추출한다. 또한 크기와 해상도가 다른 데이터 간의 차이를 보정해 정확한 정합을 가능하게 하며, 작은 범위부터 큰 범위까지 일관성 있게 매칭이 이루어지도록 설계됐다.

이러한 BUFFER-X 파이프라인은 RGB-D, 라이다(LiDAR) 등 다양한 센서 환경과 실내외를 아우르는 11개 공개 데이터셋을 기반으로 구성된 신규 제로샷 일반화 벤치마크(Zero-Shot Generalization Benchmark)에서 기존의 학습 기반 최신 기법들을 압도하는 성능을 보였다.

본 연구는 컴퓨터 비전 분야 최우수 학술대회 중 하나인 ICCV 2025에 오는 2025년 10월 발표 예정이며, 우수논문 상위 약 10%에 해당하는 Highlight 논문으로 선정되었다.

"BUFFER-X: Towards Zero-Shot Point Cloud Registration in Diverse Scenes", Minkyun Seo*, Hyungtae Lim*, Kanghee Lee, Luca Carlone, Jaesik Park, International Conference on Computer Vision (ICCV), 2025.