이 저장소는 SFA3D 기반 LiDAR 3D object detection과 SimpleTrack 기반 multi-object tracking을 하나의 C++ 파이프라인으로 묶은 프로젝트입니다.
- Detection:
원래 PyTorch 추론 경로를 배포 지향 구조로 바꿨습니다. 현재 저장소에는
HailoRT + HEF실행 경로와ONNX Runtime기준 레퍼런스 실행기가 같이 들어 있습니다. - Tracking: 원래 Python 기반이던 SimpleTrack 로직을 C++17로 다시 구현했습니다.
- Deployment target: 임베디드 보드에서 돌릴 수 있도록 BEV 전처리, 후처리, tracker 연결을 C++ 쪽으로 정리해 둔 구조입니다. AGX Orin 같은 환경에서는 동일한 전처리/후처리/트래킹 흐름에 ONNX/TensorRT 추론기를 연결해서 사용할 수 있습니다.
- 입력:
float32 x 4포맷의 LiDAR.bin파일 시퀀스 (x, y, z, intensity) - 클래스 순서:
0 = Pedestrian,1 = Car,2 = Cyclist - BEV 범위:
x: [-25, 75] my: [-50, 50] mz: [-4.1, 1.4] m
- BEV 해상도:
1216 x 1216 x 3 - 출력:
- 프레임별 timing log
result.png(매 프레임 마지막 저장본으로 덮어씀)result.mp4또는 지정한 비디오 파일
hailo_tracking_demo.mp4
- Repository copy: assets/hailo_tracking_demo.mp4
.binLiDAR 프레임을 로드하고 파일명 기준으로 정렬합니다.- ROI 밖의 포인트를 제거하고 z를 boundary 기준으로 정규화합니다.
1216 x 1216 x 3INT8 BEV feature map을 생성합니다.- Detection head를 추론합니다.
- 루트 앱:
sfa.hef를 HailoRT로 실행 - 레퍼런스 앱:
sfa.onnx를 ONNX Runtime으로 실행
- 루트 앱:
- SFA3D head를 fusion/decode 하고 클래스별 NMS를 적용합니다.
- Detection 결과를
FrameData로 바꾼 뒤Car / Cyclist / Pedestriantracker를 각각 독립적으로 돌립니다. - BEV 위에 detection/tracking 결과를 그려 video/image로 저장합니다.
src/main.cpp루트 실행기. LiDAR 로딩, BEV 생성, Hailo 추론, 후처리, SimpleTrack 연동, 시각화까지 전체 파이프라인을 담당합니다.src/hailo_inference.cpp,include/hailo_inference.hHailoRT wrapper, multi-head fusion, decode helper가 들어 있습니다.SimpleTrack/SimpleTrack C++ 포팅 코드, 설정 파일, ONNX Runtime 레퍼런스 실행기입니다.SimpleTrack/configs/tracker_params.yaml클래스별 tracking 파라미터를 정의합니다.SimpleTrack/configs/waymo_configs/*.yamltracker base config입니다.SimpleTrack/tools/inference_sfa3d_at128_onnx.cppONNX Runtime 기반 레퍼런스 추론 + tracking 실행기입니다.sfa.hefHailo용 컴파일된 detection model입니다.
- CMake
>= 3.15 - C++17 compiler
- HailoRT SDK / dev package
- Eigen3
- Boost
- OpenCV (
core,imgproc,videoio,imgcodecs,highgui) yaml-cpp- OpenMP
- POSIX Threads
- 위 라이브러리 중 HailoRT 대신 ONNX Runtime dev package 필요
onnxruntime_cxx_api.h헤더와libonnxruntime.so경로가 필요
mkdir -p build
cd build
cmake .. -DCMAKE_BUILD_TYPE=Release \
-DHailoRT_DIR=/path/to/HailoRT/cmake
cmake --build . -j"$(nproc)"find_package(HailoRT)가 실패하면 HailoRT_DIR 또는 CMAKE_PREFIX_PATH를 HailoRT CMake config가 있는 경로로 잡아주면 됩니다.
cmake -S SimpleTrack -B build_onnx -DCMAKE_BUILD_TYPE=Release \
-DONNXRUNTIME_INCLUDE_DIR=/path/to/onnxruntime/include \
-DONNXRUNTIME_LIB=/path/to/onnxruntime/lib/libonnxruntime.so
cmake --build build_onnx -j"$(nproc)"루트 실행 파일은 기본적으로 repo root의 sfa.hef를 찾고, 없으면 상위 경로도 한 번 더 확인합니다.
cd build
./HailoPerceptionProject \
--data-glob "../at128/*.bin" \
--config-path ../SimpleTrack/configs/waymo_configs/vc_kf_giou.yaml \
--class-config ../SimpleTrack/configs/tracker_params.yaml \
--video-path result.mp4 \
--video-fps 10 \
--no-gui--data-glob에는 glob 패턴뿐 아니라 directory path, single .bin file path도 넣을 수 있습니다.
./build_onnx/inference_sfa3d_at128_onnx \
--model-path /path/to/sfa.onnx \
--data-glob "./at128/*.bin" \
--config-path ./SimpleTrack/configs/waymo_configs/vc_kf_giou.yaml \
--class-config ./SimpleTrack/configs/tracker_params.yaml \
--video-path result_onnx.mp4루트 실행기 기준 주요 옵션은 아래와 같습니다.
--data-glob <pattern|dir|file>입력 point cloud 지정--config-path <path>tracker base config--class-config <path>클래스별 tracker 파라미터--video-path <path>출력 비디오 경로--video-fps <fps>출력 비디오 FPS--start-frame <idx>시작 프레임 index--end-frame <idx>종료 프레임 index--max-frames <N>처리 프레임 수 제한--detection-vis <bool>raw detection 박스 시각화 on/off--tracking-vis <bool>tracking 박스 시각화 on/off--debug-assocassociation debug log--debug-lifetracker lifecycle debug log--debug-all전체 debug log--debug-coordsBEV/ego 좌표 변환 log--debug-detdetection -> FrameData 변환 log--debug-yawpre-NMS yaw log
도움말은 아래처럼 확인할 수 있습니다.
./HailoPerceptionProject --help클래스별 파라미터는 SimpleTrack/configs/tracker_params.yaml에서 조정합니다.
giou_assogiou_redundmax_agemin_hitsscore_thrnms_thpost_nms_ioumeasurement_noise
현재 기본 설정은 vehicle / cyclist / pedestrian 각각 다른 association threshold, lifecycle, score threshold를 사용합니다.
- 루트 앱은 클래스별로 tracker를 3개 따로 돌립니다.
- 입력
.bin파일은 파일명 순으로 정렬해서 처리합니다.
SimpleTrack/원본 프로젝트는 MIT 라이선스를 따릅니다.