자율주행 라이다(LiDAR), 카메라, 레이더(Radar) 센서의 특성과 융합(Sensor Fusion) 기초

자율주행의 핵심 뼈대인 소프트웨어 아키텍처와 노드 간 통신을 돕는 ROS2의 구조를 이해했다면, 이제 자율주행 차량이 외부 세계를 인식하는 '눈과 귀'에 해당하는 센서들의 세계를 살펴볼 차례입니다.

처음 자율주행 시뮬레이터나 실습용 소형 차량을 만질 때, 카메라는 저렴하지만 날씨나 빛의 양에 따라 너무 쉽게 먹통이 되고, 라이다는 정확하지만 가격이 너무 비싸서 어떤 센서를 어떻게 조합해야 할지 머리가 아파 옵니다. 나 역시 초기 프로젝트에서 카메라 영상 하나만 믿고 야간 주행 테스트를 하다가 가로등 그늘 아래서 물체를 인식하지 못해 아찔하게 멈춰 섰던 기억이 있습니다. 세상에 완벽한 단일 센서는 존재하지 않으며, 각 센서의 장단점을 보완하는 '센서 융합(Sensor Fusion)'이 왜 자율주행의 필수 조건인지 오늘 3편에서 낱낱이 파헤쳐 보겠습니다.

1. 자율주행의 3대 핵심 센서: 각자의 눈과 귀

자율주행 차량은 인간이 두 눈과 귀로 주변을 파악하듯, 서로 다른 물리적 특성을 가진 세 가지 메인 센서를 통해 도로 상황을 입체적으로 감지합니다.

(1) 카메라 (Camera): 인간의 눈과 가장 닮은 고해상도 시각 정보

특징: 도로 위 차선의 색상, 신호등의 불빛, 표지판의 글자, 보행자의 옷차림 등 정밀한 시각적 세부 정보를 파악하는 데 압도적인 성능을 발휘합니다. 가격도 저렴한 편입니다.
치명적인 한계: 폭우가 쏟아지거나 눈이 날릴 때, 혹은 역광이나 야간 어둠 속에서는 영상이 흐려져 객체 인식이 급격히 떨어집니다. 또한 2차원 평면 이미지이기 때문에 물체까지의 정확한 '거리'를 계산하기가 까다롭습니다.

(2) 라이다 (LiDAR, Light Detection and Ranging): 빛으로 그리는 3차원 입체 지도

특징: 차량 주변으로 레이저 펄스를 쏘아 돌아오는 시간을 측정하여 주변 환경을 밀리미터 단위의 정밀한 3차원 점군 데이터(Point Cloud)로 그려냅니다. 날씨나 주야간에 거의 영향을 받지 않고 정확한 거리와 형태를 측정합니다.
치명적인 한계: 가격이 대단히 비싸며, 폭우나 짙은 안개 속에서는 물방울에 레이저가 난반사되어 노이즈가 심하게 발생할 수 있습니다.

(3) 레이더 (Radar, Radio Detection and Ranging): 전파로 멀리 보는 속도 측정기

특징: 전자기파를 발사하여 물체에 부딪혀 돌아오는 반사파를 분석합니다. 안개나 폭우, 폭설 등 악천후 속에서도 강한 투과력을 자랑하며, 대상 물체의 '속도(Velocity)'를 도플러 효과를 이용해 가장 빠르고 정확하게 계산합니다.
치명적인 한계: 해상도가 낮아 물체의 정확한 형태나 종류(사람인지 가로등인지)를 세밀하게 구분하기 어렵습니다.

2. 센서들의 단점을 메우는 열쇠: 센서 융합 (Sensor Fusion)

만약 카메라 하나만 쓰거나 라이다 하나만 쓰면 예기치 못한 도로 위 변수에서 사고로 이어지기 쉽습니다. 그래서 현대 자율주행 기술은 각 센서의 장점만을 극대화하고 약점을 보완하는 센서 융합(Sensor Fusion) 기술을 사용합니다.

(1) 센서 융합의 대표적 방식: 칼만 필터(Kalman Filter)와 딥러닝 기반 융합

레이더와 라이다가 정확한 '거리와 위치, 속도'를 측정해주고, 카메라는 그 위치에 있는 물체가 '무엇(보행자 혹은 자동차)'인지 정확한 정체(Class)를 알려줍니다.
이 정보를 수학적 알고리즘(예: 칼만 필터)이나 최신 딥러닝 신경망 모델 안에서 하나로 묶어(Fusion) 최종 인식 결과를 도출합니다. 카메라가 역광으로 보행자를 놓쳐도 라이다와 레이더가 위치와 움직임을 잡아내어 시스템의 안전성을 지켜주는 원리입니다.

3. 입문자가 센서 데이터를 다룰 때 자주 범하는 실수 2가지

센서 간 시간 동기화(Time Synchronization) 무시: 카메라가 30프레임으로 이미지를 찍고 라이다가 10헤르츠로 점군을 뿌릴 때, 이 두 데이터의 타임스탬프(Timestamp)가 어긋난 상태로 융합 알고리즘에 넣으면 차량이 움직이는 순간 위치가 엉뚱하게 겹쳐 치명적인 인식 에러가 발생합니다. 시간 동기화 세팅은 센서 코딩의 기본 중의 기본입니다.
단일 센서 성능에만 과도한 의존: "고가의 라이다를 달았으니 카메라는 대충 써도 되겠지" 혹은 "최신 객체 인식 AI 모델이니 카메라만 믿으면 돼"라는 안일한 생각으로 시스템을 설계하면, 센서가 취약한 환경(예: 눈보라 속 카메라, 반사판 없는 물체 앞의 라이다)을 만났을 때 곧바로 시스템 오작동으로 이어집니다.