이 책은 라이브러리 활용에 집중했습니다. 하지만 얼굴 기술의 세계는 더 넓습니다. 이 장에서는 다음에 배워 볼 만한 세 가지 방향을 안내합니다. 더 깊은 3D, 더 똑똑한 영상 트래킹, 그리고 이 기술의 그림자인 딥페이크와 그에 따르는 책임입니다.
3D로 더 깊이
이 책은 2D 이미지를 다뤘습니다. 한 걸음 더 나아가면 깊이(depth) 정보를 쓰는 3D 얼굴 기술이 있습니다. RGB-D 카메라(색+거리)나 여러 각도의 사진으로 얼굴의 입체 형태를 복원하면, 평면 사진으로는 어려운 것들이 가능해집니다.
- 강한 라이브니스: 입체 정보는 평면 사진·화면 공격을 근본적으로 막습니다(PART 09). 스마트폰의 3D 얼굴 잠금이 이 방식입니다.
- 자세에 강한 인식: 옆얼굴도 3D 형태로 정규화하면 정면처럼 다룰 수 있습니다.
- 3D 아바타·AR: PART 03의 블렌드셰이프를 3D 모델에 입혀 표정을 그대로 옮깁니다.
MediaPipe의 변환 행렬(PART 03)이 3D로 가는 작은 입구였습니다. 더 나아가려면 3D 얼굴 복원(3D Morphable Model 등)과 RGB-D 처리를 살펴보면 좋습니다.
영상 트래킹 심화
PART 11에서 IoU 기반의 간단한 트래킹을 만들었습니다. 사람이 많고 서로 가리는 복잡한 영상에서는 더 똑똑한 추적이 필요합니다.
| 기법 | 핵심 |
|---|---|
| DeepSORT | 움직임 예측 + 외형 임베딩으로 견고한 추적 |
| ByteTrack | 낮은 신뢰도 검출까지 활용해 끊김 감소 |
| Re-ID | 사라졌다 다시 나타난 사람을 재식별 |
이들은 "프레임이 끊기거나 사람이 겹쳐도 같은 id를 유지"하는 데 강합니다. 사람 수를 세거나, 동선을 분석하거나, 오랜 영상에서 한 사람을 끝까지 따라가야 할 때 다음 단계로 배울 주제입니다. PART 04의 임베딩이 여기서 외형 특징으로 다시 쓰입니다.
딥페이크 — 기술의 그림자
이 책의 기술을 뒤집으면 딥페이크가 됩니다. 얼굴을 인식·정렬·임베딩하는 능력은, 얼굴을 합성하고 바꿔치기하는 데도 쓰입니다. 딥페이크는 영화·교육 같은 창작에 쓰이지만, 동의 없는 합성·사기·허위정보처럼 심각한 악용으로도 이어집니다.
그래서 두 가지가 함께 발전하고 있습니다.
- 생성: GAN·확산 모델로 점점 진짜 같은 얼굴을 만듭니다.
- 탐지: 합성의 미세한 흔적을 찾아 딥페이크를 가려냅니다(PART 09 라이브니스와 같은 정신).
이 책을 읽은 여러분은 양쪽을 모두 이해할 수 있습니다. 중요한 것은 방향입니다. 같은 지식으로 탐지·보호 도구를 만들 수도, 악용 도구를 만들 수도 있습니다.
기술자가 향할 곳
인증·모자이크·탐지] A --> C[감시·악용
무단추적·딥페이크] B --> D[책임 있는 기술자] C -.피해야 할 길.-> D
PART 08·11에서 거듭 말한 "만들 수 있는가보다 만들어야 하는가"가, 더 강력한 기술로 나아갈수록 더 무거워집니다. 능력이 커질수록 책임도 커집니다.
실무 팁. 새 기술을 배울 때 그 기술의 "악용 시나리오"를 함께 공부하세요. 딥페이크 생성을 배운다면 탐지도, 트래킹을 배운다면 그것이 감시로 흐르지 않게 하는 설계 원칙도 같이 익히는 것입니다. 한쪽만 아는 기술자는 자기도 모르게 해로운 도구를 만들 수 있습니다. 균형 잡힌 이해가 곧 책임 있는 역량입니다.
이 장에서 기억할 것
이 책 너머에는 깊이를 더하는 3D 얼굴(강한 라이브니스·자세 강건), 복잡한 영상을 위한 트래킹 심화(DeepSORT·Re-ID), 그리고 기술의 그림자인 딥페이크(생성과 탐지)가 있습니다. 더 강력한 기술일수록 보호에도 악용에도 쓰일 수 있어, 능력과 함께 책임이 커집니다. 악용 시나리오까지 함께 공부하는 균형이 책임 있는 기술자를 만듭니다. 다음 장에서는 더 공부할 때 찾아볼 참고 자료를 안내합니다.