자율주행 공부를 시작하는 사람을 위한 키워드

[시즌 1 - 8편] 자율주행 공부를 시작하는 사람을 위한 키워드 지도

시즌 1을 마무리하며, 이제 무엇을 검색하면 좋을까?

드디어 시즌 1의 마지막 글입니다. 처음 이 시리즈를 시작할 때는 "자율주행, 어디서부터 공부해야 할까?"라는 질문에서 출발했습니다. 막상 공부를 시작하려니 AI, 컴퓨터 비전, 센서, 로보틱스, 차량 제어 등 알아야 할 용어와 분야가 너무 넓어 막막함을 느끼기 쉽기 때문입니다.

그래서 시즌 1에서는 너무 깊은 기술적 디테일에 빠지기보다는, 전체적인 '큰 지도'를 먼저 그리는 데 집중했습니다. 우리는 자율주행을 "본다 ➡️ 예측한다 ➡️ 판단한다 ➡️ 움직인다"라는 직관적인 흐름으로 나누어 보았고, 각 단계에서 카메라와 라이다 같은 센서가 어떻게 쓰이는지, 내 차의 위치(Localization)는 어떻게 아는지, 그리고 핵심 엔진인 AI가 어디에서 맹활약하는지 살펴보았습니다.

이제 시즌 1을 마무리하며, 여러분이 스스로 다음 공부 방향을 찾을 수 있도록 돕는 '키워드 지도'를 펼쳐보려 합니다.

 

 

자율주행 공부가 어려운 이유와 해결책

자율주행 공부가 유독 어려운 이유는 단순히 수식이 복잡해서가 아니라, 너무 많은 분야가 한꺼번에 얽혀 있기 때문입니다.

하지만 이럴 때일수록 "어느 방향에서 시작해도 결국 하나의 중심으로 연결된다"는 사실을 기억하면 좋습니다. 딥러닝 AI부터 시작하든, 카메라와 라이다 같은 센서부터 시작하든, 결국 '안전한 자율주행'이라는 하나의 목표점에서 모든 지식이 만나게 됩니다.

초심자에게 가장 필요한 것은 완벽한 지식이 아니라, "다음에 무엇을 검색해야 할지 아는 것"입니다. 키워드를 알면 검색할 수 있고, 좋은 자료를 찾다 보면 자연스럽게 자신만의 공부 방향이 잡히기 때문입니다.

 

 

분야별 핵심 키워드

자율주행을 구성하는 거대한 시스템을 분야별로 나누어, 가장 먼저 찾아보면 좋을 핵심 키워드들을 정리했습니다.

1. 시스템 및 전체 구조 (System) 전체 숲을 보기 위해 가장 먼저 익숙해져야 할 단어들입니다.

• 자율주행 개요 (Autonomous Driving Overview): 자율주행 전체 분야의 큰 그림
• 자율주행 파이프라인 (Autonomous Driving Pipeline): 센서 입력부터 차량 제어까지의 흐름
• 인지 (Perception): 주변 환경을 이해하는 과정
• 예측 (Prediction / Motion Forecasting): 주변 대상의 미래 움직임을 예상하는 과정
• 계획 (Planning): 내 차가 어떻게 움직일지 결정하는 과정
• 제어 (Control): 계획한 움직임을 실제 차량으로 실행하는 과정
• End-to-End 자율주행 (End-to-End Autonomous Driving): 여러 단계를 하나의 AI로 통합하려는 접근

2. 센서 관점의 키워드 (Sensor & Representation) 자율주행차가 세상을 바라보는 눈에 해당하는 키워드입니다.

• 카메라 인식 (Camera Perception): 카메라 이미지로 도로를 이해하는 기술
• 라이다 (LiDAR): 빛을 이용해 거리와 3D 구조를 측정하는 센서
• 포인트 클라우드 (Point Cloud): 라이다가 만든 3차원 점 데이터
• 레이더 (Radar): 전파로 거리와 속도를 측정하는 센서
• 센서 퓨전 (Sensor Fusion): 여러 센서 정보를 합쳐 더 안정적으로 이해하는 기술
• 보정 (Calibration): 센서들의 위치와 좌표계를 맞추는 과정
• 조감도/BEV (Bird's Eye View): 차량 주변을 위에서 내려다본 형태로 표현하는 방식

3. 인공지능 관점의 키워드 (AI & Deep Learning) 현재 자율주행 발전의 가장 강력한 엔진 역할을 하는 키워드입니다.

• 머신러닝 (Machine Learning): 데이터에서 패턴을 배우는 방법
• 딥러닝 (Deep Learning): 신경망으로 복잡한 패턴을 학습하는 방법
• 컴퓨터 비전 (Computer Vision): 이미지와 영상을 이해하는 AI 분야
• 객체 탐지 (Object Detection): 이미지 속에서 차량, 사람, 신호등 등을 찾는 기술
• 바운딩 박스 (Bounding Box): 물체 위치를 사각형으로 표시하는 방식
• 세그멘테이션 (Semantic Segmentation): 이미지의 각 영역이 무엇인지 픽셀 단위로 나누는 기술
• 트래킹 (Multi-Object Tracking): 한 번 본 물체를 계속 따라가는 기술
• 궤적 예측 (Trajectory Prediction): 대상이 앞으로 움직일 경로를 예측하는 기술
• 다중 모드 예측 (Multi-modal Prediction): 여러 가능한 미래를 동시에 예측하는 기술
• 비전 트랜스포머 (Vision Transformer, ViT): 이미지를 Transformer 방식으로 처리하는 모델 계열

4. 위치 추정과 지도 (Localization & Mapping) 자율주행차가 길을 잃지 않게 해주는 뼈대 기술입니다.

• 위치 추정 (Localization): 내 차가 어디에 있는지 추정하는 기술
• 위성 항법 (GPS / GNSS): 위성 신호로 대략적인 위치를 얻는 방법
• 관성 측정 장치 (IMU): 차량의 가속과 회전을 측정하는 센서
• 오도메트리 (Odometry): 바퀴 회전 등을 이용해 이동량을 추정하는 방법
• 고정밀 지도 (HD Map): 차선, 정지선, 신호등 위치 등을 담은 정밀 지도
• 지도 매칭 (Map Matching): 센서가 본 현재 장면과 지도를 맞추는 과정
• 슬램 (SLAM): 지도를 만들면서 동시에 위치를 찾는 기술
• 상태 추정 (State Estimation): 여러 센서 정보를 조합해 현재 상태를 추정하는 기술
• 칼만 필터 (Kalman Filter): 예측과 관측을 반복해 오차를 줄이는 알고리즘

5. 계획 및 제어 (Planning & Control) AI가 판단한 내용을 실제 차량의 움직임으로 바꿔주는 기술입니다.

• 경로 계획 (Route Planning / Global Planning): 목적지까지 어떤 길로 갈지 정하는 일
• 행동 계획 (Behavior Planning): 차선을 유지할지, 바꿀지, 멈출지 결정하는 일
• 궤적 계획 (Trajectory Planning / Motion Planning): 실제 차량이 따라갈 부드러운 경로를 만드는 일
• 의사결정 (Decision Making): 현재 상황에서 어떤 행동을 선택할지 정하는 과정
• 차량 제어 (Vehicle Control): 계획한 경로를 실제 차량이 따라가도록 만드는 기술
• PID 제어 (PID Control): 오차를 줄이는 대표적인 전통 제어 방식
• 모델 예측 제어 (MPC, Model Predictive Control): 미래를 예측하며 최적 제어 입력을 계산하는 방식
• 모방 학습 (Imitation Learning): 사람의 운전 데이터를 보고 행동을 학습하는 방법
• 강화학습 (Reinforcement Learning): 시행착오를 통해 더 나은 행동을 학습하는 방법

6. 데이터 및 안전 검증 (Data & Validation) AI가 실제 도로에 나오기 위해 반드시 넘어야 할 현실적인 장벽들입니다.

• 주행 데이터 (Driving Data): 차량이 실제 도로에서 수집한 센서 데이터
• 라벨링 (Annotation / Labeling): AI가 학습할 수 있도록 정답을 붙이는 작업
• 자동 라벨링 (Auto-labeling): AI를 이용해 라벨링을 자동화하는 방법
• 엣지 케이스 (Edge Case): 드물지만 중요한 예외 상황
• 롱테일 분포 (Long-tail Distribution): 자주 나오지 않는 상황이 매우 많은 분포
• 시뮬레이션 (Simulation): 가상 환경에서 주행 상황을 테스트하는 방법
• 시나리오 테스트 (Scenario Test): 특정 상황을 만들어 자율주행을 검증하는 방식
• Sim-to-Real Gap: 시뮬레이션과 실제 도로 사이의 차이
• 안전 검증 (Safety Validation): 시스템이 안전한지 확인하는 과정

 

AI를 중심으로 공부하고 싶다면? (추천 로드맵)

이 블로그 시리즈의 핵심 주제 중 하나가 바로 'AI'입니다. 자율주행 AI의 세계에 제대로 빠져보고 싶은 분들을 위해 가장 검증된 학습 경로(로드맵)를 추천해 드립니다.

 

• 1단계: 딥러닝 기초 직관 쌓기
  • YouTube의 3Blue1Brown '신경망' 시리즈 (직관적 원리 이해),
  • fast.ai의 Practical Deep Learning (코드로 먼저 부딪혀보기).
• 2단계: 컴퓨터 비전(CV) 뼈대 잡기
  • 스탠포드 대학교의 명강의 CS231n (Computer Vision). 자율주행 인지(Perception) 영역을 이해하기 위한 필수 관문입니다.
• 3단계: 자율주행 AI 전체 구조 파악하기
  • MIT의 6.S094 (Deep Learning for Autonomous Vehicles) 강의. AI가 자율주행 파이프라인에 어떻게 스며드는지 배울 수 있습니다.
• 4단계: 논문과 오픈소스(코드)의 바다로
  • arXiv(최신 논문)와 Papers With Code(논문+코드 벤치마크), 그리고 GitHub의 Awesome Autonomous Driving 같은 큐레이션 저장소들을 탐색하며 최신 트렌드(End-to-End, BEV 등)를 추적합니다.

자료를 찾을 때의 작은 팁

자율주행 자료를 구글링할 때는 한국어와 영어 키워드를 함께 섞어서 검색하는 것이 좋습니다. 한국어로 검색하면 입문자에게 친절한 블로그 글이나 영상으로 전체 개념을 뼈대를 잡기 좋고, 영어 키워드(예: "Autonomous Driving Perception")로 검색하면 해외 명문대 강의, 논문 리뷰, 오픈소스 코드 등 지식의 폭이 훨씬 넓어집니다.

처음부터 딱딱한 논문을 완벽히 해석하려 하지 마세요. 처음에는 제목, 다이어그램(그림), Abstract(요약) 정도만 보며 "아, 이 AI 모델은 무엇을 입력으로 받아서, 무엇을 출력으로 내놓으려 하는가?"만 파악해도 엄청난 성과입니다.

 

참고 자료

• Stanford CS231n: Computer Vision — 자율주행 AI 핵심 — 컴퓨터 비전 기초
• fast.ai Practical Deep Learning — 코드 먼저 방식 딥러닝 입문 (무료)
• Awesome Autonomous Driving (GitHub) — 자율주행 공부 자료 큐레이션

 

더 공부해볼 키워드

• 자율주행 파이프라인 (Autonomous Driving Pipeline)
• 객체 탐지 및 세그멘테이션 (Object Detection, Semantic Segmentation)
• 다중 모드 예측 (Multi-modal Prediction)
• End-to-End 자율주행 (End-to-End Autonomous Driving)
• 시뮬레이션과 롱테일 문제 (Simulation, Long-tail Edge Case)

 

이상 읽어주셔서 감사합니다.