각 센서와 이동체 상태를 하나의 시스템으로 연결하는 Sensor Fusion & Control
이동체는 DVS, RGB 카메라, LiDAR·Depth, IMU, Odometry처럼 각 주기와 좌표계를 가진 데이터를 동시에 사용합니다. 이러한 정보가 정확히 정렬되지 않으면 개별 센서가 정상적으로 동작하더라도 전체 시스템의 판단은 불안정해질 수 있습니다.
로보윙크의 Sensor Fusion & Control 연구는 이기종 센서 데이터를 동일한 시간·좌표 기준으로 정합하고, 이동체의 상태정보와 결합하여 상위 시스템이 사용할 수 있는 일관된 상태 표현과 제어 인터페이스를 만드는 데 초점을 둡니다.
DVS의 이벤트 Timestamp, 카메라 Frame Time, LiDAR Scan Time, IMU 샘플과 로봇 상태 업데이트 주기는 서로 다릅니다. 융합에 앞서 동일한 시간축으로 정렬하는 과정이 필요합니다.
각 센서에서 제공하는 Timestamp와 시스템 수신시각을 함께 수집합니다.
센서별 기준시각 차이와 통신 지연으로 발생하는 시간 Offset을 확인합니다.
최근 데이터 구간을 버퍼에 유지하여 각 센서 샘플을 시간 기준으로 매칭합니다.
필요한 경우 상태량을 보간하여 동일 시점의 센서·이동체 정보를 구성합니다.
시간차가 허용 범위를 벗어난 데이터는 표시하거나 융합 가중치를 조정합니다.
센서가 서로 다른 위치와 방향으로 장착되면 동일한 물체도 각 센서에서는 각 좌표로 관측됩니다. 외부 파라미터와 좌표변환을 이용해 하나의 Robot Frame으로 정렬합니다.
카메라 및 광학계 내부 파라미터를 보정하여 영상·이벤트 좌표의 기하학적 왜곡을 줄입니다.
DVS, RGB, LiDAR, IMU의 장착 위치와 자세 관계를 공통 기준좌표계로 정의합니다.
센서 관측치를 Robot / Base / Map Frame 사이에서 일관되게 변환합니다.
동일 객체의 센서별 관측 위치를 비교하여 시간·공간 정합 오차를 점검합니다.
모든 센서를 하나의 방식으로 결합하는 것이 아니라, 데이터 특성과 연산비용, 지연 요구사항에 따라 융합 단계를 선택하는 구조를 연구합니다.
시간·좌표 정합이 가능한 원시 또는 저수준 센서 데이터를 공통 표현으로 결합하여 공간·시간 정보를 최대한 유지합니다.
각 센서에서 추출된 ROI, motion feature, depth, state vector 등을 하나의 특징공간으로 결합합니다.
센서별 결과와 Confidence를 유지한 상태에서 시스템 수준에서 가중 결합하거나 우선순위를 적용합니다.
외부 환경의 센서 정보만으로는 실제 이동체의 동작상태를 완전히 이해하기 어렵습니다. 속도·방향·Odometry·IMU·운전모드 등 내부 상태를 함께 사용해 시스템 문맥을 구성합니다.
현재 위치와 이동량을 센서 관측과 함께 사용하여 공간적 문맥을 유지합니다.
이동체 속도와 진행방향을 결합해 동일한 외부 움직임이라도 상대관점에서 해석합니다.
가속도·각속도 정보를 이용해 짧은 시간의 자세 변화와 움직임 상태를 보완합니다.
주행·정지·작업 등 시스템 모드에 따라 센서 데이터의 의미와 인터페이스 조건을 구분합니다.
센서 융합은 단순 평균이 아니라 각 센서의 유효성, 환경조건, 데이터 최신성, 추론 Confidence를 고려해 사용할 정보를 선택하는 과정이 필요합니다.
데이터 누락, 지연, 포화, 노이즈 증가처럼 센서 신뢰도를 떨어뜨리는 상태를 감지하고 융합 단계에서 반영합니다.
특정 센서의 신뢰도가 낮아질 경우 다른 센서와 이동체 상태정보의 비중을 조정하고, 시스템이 사용할 수 있는 상태표현을 유지합니다.
융합 결과와 이동체 상태를 상위 Motion Planner·Robot Controller가 사용할 수 있는 표준화된 인터페이스로 전달하는 연구입니다.
공통 좌표계 상태정보
신뢰도·Freshness 확인
메시지·Register 변환
Motion / system 입력
상태·오류·실행정보 회수
센서와 엣지 모듈, 로봇 제어기 사이의 데이터 형식과 갱신주기를 관리하고, 처리 지연과 데이터 유실을 확인할 수 있는 통합 구조를 연구합니다.
Timestamp, Frame ID, Pose, Confidence 등 융합에 필요한 공통 필드를 정의합니다.
Ethernet, CAN-class, Serial 등 대상 시스템에 적합한 통신 인터페이스를 검토합니다.
데이터 주기와 중요도에 따라 Queue와 Buffer를 관리하여 오래된 데이터가 제어경로에 남지 않도록 합니다.
센서·융합·제어 인터페이스 로그를 저장하고 동일 상황을 재생하여 통합 문제를 분석합니다.
개별 센서 성능보다 여러 데이터가 실제 시스템에서 얼마나 정확하게 정렬되고 안정적으로 전달되는지를 중심으로 평가합니다.
Sensor Fusion & Control은 앞선 세 연구기술을 실제 로봇 시스템에 연결하는 마지막 통합 계층입니다.
이벤트 센싱, 보정, 전처리와 시공간 데이터 표현을 담당합니다.
이벤트 시퀀스를 스파이크 기반 시간특징과 AI 추론정보로 변환합니다.
SNN 모델을 RISC-V/MCU, 전용가속기 및 메모리 구조에서 실행합니다.
모든 센서와 상태정보를 정합·융합하고 실제 이동체 인터페이스로 연결합니다.
DVS·RGB·LiDAR·IMU 정합, 상태추정, 실시간 센서융합 및 로봇 시스템 인터페이스를 위한 공동 연구와 PoC를 검토합니다.
