04. 방화벽, IDS, IPS — 합격하는 네트워크관리사 2급

방화벽, IDS, IPS

네트워크 보안의 세 기둥

지금까지 살펴본 허브, 스위치, 라우터는 데이터를 "잘 전달하는 것"이 목적입니다. 하지만 네트워크에는 원치 않는 데이터도 들어옵니다. 외부에서 들어오는 악의적인 패킷을 차단하고, 내부에서 비정상적인 활동을 탐지하는 것이 보안 장비의 역할입니다.

네트워크 보안 장비는 크게 세 가지로 나뉩니다. 방화벽(Firewall)은 허용된 트래픽만 통과시키는 문지기이고, IDS(Intrusion Detection System)는 수상한 행동을 감시하는 감시카메라이며, IPS(Intrusion Prevention System)는 수상한 행동을 즉시 차단하는 경비원입니다.

방화벽(Firewall)

방화벽은 내부 네트워크와 외부 네트워크(인터넷) 사이에 위치하여, 정해진 규칙에 따라 트래픽을 허용하거나 차단하는 장비입니다. 건물의 출입구에서 신분증을 확인하는 보안 요원과 비슷합니다.

방화벽의 동작 방식은 세 가지로 분류됩니다.

패킷 필터링(Packet Filtering) 방화벽은 가장 기본적인 형태입니다. 패킷의 헤더 정보(출발지 IP, 목적지 IP, 출발지 포트, 목적지 포트, 프로토콜)를 보고 허용 또는 차단을 결정합니다. ACL(Access Control List)을 기반으로 동작하며, 네트워크 계층과 전송 계층의 정보만 확인합니다.

장점은 속도가 빠르고 구현이 간단하다는 것입니다. 단점은 패킷 하나하나를 독립적으로 판단하므로, 연결 상태를 추적하지 못합니다. 예를 들어, 외부에서 들어오는 응답 패킷이 정당한 요청에 대한 것인지 확인할 수 없습니다.

상태 검사(Stateful Inspection) 방화벽은 패킷 필터링의 한계를 보완합니다. 연결 상태 테이블을 유지하면서, 현재 통과하는 패킷이 기존 연결의 일부인지를 확인합니다. 내부에서 웹 서버에 요청을 보냈다면, 그 응답 패킷은 자동으로 허용합니다. 현재 대부분의 방화벽이 이 방식을 사용합니다.

프록시(Proxy) 방화벽은 응용 계층에서 동작합니다. 내부 사용자와 외부 서버 사이에서 중개자 역할을 합니다. 내부 사용자가 웹 페이지를 요청하면, 프록시 방화벽이 대신 외부 서버에 요청하고 응답을 받아 내부 사용자에게 전달합니다. 응용 계층의 데이터까지 검사할 수 있으므로 보안성이 높지만, 처리 속도가 느립니다.

방화벽 유형	동작 계층	검사 범위	속도	보안성
패킷 필터링	L3~L4	헤더(IP, 포트)	빠름	낮음
상태 검사	L3~L4	헤더 + 연결 상태	중간	중간
프록시	L7	헤더 + 데이터	느림	높음

IDS(침입 탐지 시스템)

IDS(Intrusion Detection System)는 네트워크 트래픽이나 시스템 활동을 모니터링해서, 비정상적인 행동이나 알려진 공격 패턴을 탐지하는 시스템입니다. 핵심은 "탐지"입니다. IDS는 경고(Alert)를 발생시킬 뿐, 직접 트래픽을 차단하지는 않습니다.

IDS는 설치 위치에 따라 두 가지로 나뉩니다.

NIDS(Network-based IDS)는 네트워크 구간에 설치되어 지나가는 패킷을 분석합니다. 보통 스위치의 미러 포트에 연결해서 전체 트래픽을 복사본으로 받아 검사합니다. 네트워크 전반의 위협을 탐지할 수 있지만, 암호화된 트래픽은 내용을 볼 수 없습니다.

HIDS(Host-based IDS)는 개별 서버나 PC에 설치되어 해당 호스트의 활동을 감시합니다. 파일 변경, 로그인 시도, 시스템 호출 등을 모니터링합니다. 호스트별로 세밀한 탐지가 가능하지만, 네트워크 전체를 보지는 못합니다.

[NIDS 배치 구조]

인터넷 ─── 방화벽 ─┬── 스위치 ─── 서버들
                    │
                    └── NIDS (미러 포트로 트래픽 복사본 수신)
                         │
                         ▼
                    관리자에게 경고

IPS(침입 방지 시스템)

IPS(Intrusion Prevention System)는 IDS에서 한 걸음 더 나아간 시스템입니다. IDS가 탐지만 하고 경고를 보내는 수동적 시스템이라면, IPS는 탐지와 동시에 차단하는 능동적 시스템입니다.

IPS는 네트워크 트래픽의 경로(Inline) 위에 설치됩니다. 모든 패킷이 IPS를 거쳐 지나가므로, 위협을 감지하면 해당 패킷을 즉시 폐기할 수 있습니다. 반면 IDS는 트래픽 경로 옆에서 복사본을 분석하는 방식(Out-of-Band)으로 동작합니다.

[IDS vs IPS 배치 차이]

IDS (Out-of-Band):
인터넷 ─── 방화벽 ──── 스위치 ──── 서버
                         │
                    미러 포트 → IDS → 경고만 발생

IPS (Inline):
인터넷 ─── 방화벽 ──── IPS ──── 스위치 ──── 서버
                        │
                   위협 감지 → 즉시 차단

방화벽 vs IDS vs IPS 비교

세 장비의 차이를 한 표로 정리합니다. 시험에서 이 세 가지를 비교하는 문제가 출제됩니다.

구분	방화벽	IDS	IPS
주요 기능	규칙 기반 허용/차단	침입 탐지 및 경고	침입 탐지 및 차단
동작 방식	ACL, 상태 검사	패턴 매칭, 이상 탐지	패턴 매칭, 이상 탐지
차단 여부	차단	경고만 (차단 안 함)	차단
배치 위치	네트워크 경계	트래픽 경로 옆(미러)	트래픽 경로 위(인라인)
비유	출입구 보안 검색대	감시카메라(CCTV)	무장 경비원

실제 네트워크에서는 이 세 가지를 함께 사용합니다. 방화벽이 1차로 불필요한 트래픽을 걸러내고, IDS가 통과한 트래픽 중 수상한 활동을 탐지하고, IPS가 위협을 즉시 차단합니다. 이런 방어 전략을 "심층 방어(Defense in Depth)"라고 합니다.

UTM과 차세대 방화벽

최근에는 방화벽, IDS, IPS, VPN, 안티바이러스 등 여러 보안 기능을 하나의 장비에 통합한 UTM(Unified Threat Management)이 널리 사용됩니다. 별도 장비를 여러 대 구매하지 않아도 되므로 중소기업에서 많이 도입합니다.

NGFW(Next Generation Firewall, 차세대 방화벽)는 기존 방화벽에 응용 프로그램 인식, 사용자 인식, SSL 검사 등 고급 기능을 추가한 장비입니다. 단순히 포트 번호로 트래픽을 분류하는 것이 아니라, 실제 어떤 애플리케이션이 사용되는지를 식별할 수 있습니다.

시험에서는 UTM과 NGFW가 직접 출제되기보다는, 방화벽/IDS/IPS의 기본 개념을 정확히 아는 것이 중요합니다.

시험 포인트

방화벽 유형: 패킷 필터링(L3~L4, 빠름), 상태 검사(연결 추적), 프록시(L7, 느리지만 안전)

IDS는 탐지만 하고 경고를 보내며, 차단하지 않는다. NIDS(네트워크 기반)와 HIDS(호스트 기반)로 구분한다.

IPS는 탐지와 차단을 동시에 수행하며, 인라인(Inline)으로 설치한다.

IDS는 트래픽 경로 옆(Out-of-Band), IPS는 트래픽 경로 위(Inline)에 배치한다.

방화벽은 "허용/차단", IDS는 "탐지/경고", IPS는 "탐지/차단"으로 구분한다.

실무 매핑

실무에서는 Palo Alto, Fortinet, Check Point 같은 NGFW가 방화벽, IDS, IPS 역할을 통합하여 수행합니다. 클라우드 환경에서는 AWS Security Group(방화벽), GuardDuty(IDS), WAF(웹 애플리케이션 방화벽) 같은 서비스가 비슷한 역할을 합니다.