시나리오 문제를 읽는 법과 함정

CCA-F 시나리오 문제는 보통 세 부분으로 구성된다. 상황 설명(누가 무엇을 만드는가), 제약 조건(무엇을 지켜야 하는가), 그리고 질문(무엇이 가장 적절한가)이다. 합격자는 이 중 제약 조건을 가장 먼저 찾는다. 상황 설명은 분위기일 뿐, 정답을 결정하는 것은 제약 조건에 박힌 한두 개의 키워드이기 때문이다. 같은 "고객 지원 챗봇"이라도 "응답 200ms 이내"가 붙으면 무거운 멀티 에이전트 오케스트레이션이 오답이 되고, "환불 처리 권한"이 붙으면 자동 실행이 오답이 되고 인적 승인(human-in-the-loop)이 정답이 된다.

지문을 읽을 때는 다음 다섯 축의 제약 키워드를 능동적으로 스캔한다. 라텐시와 처리량("실시간", "수천 건 동시", "배치 가능"), 비용("저비용", "토큰 예산", "대량 호출"), 신뢰성("실패 시 복구", "멱등성", "재시도"), 보안과 권한("PII", "최소 권한", "감사 로그", "승인 필요"), 그리고 인적 통제("자동 실행 금지", "검토 후 반영", "되돌릴 수 없는 작업"). 이 키워드 중 하나가 등장하면 그 즉시 후보 선택지의 절반이 탈락한다. 출제자는 정확히 이 키워드를 보고 선택지를 설계한다.

함정은 대개 세 가지 형태로 들어온다. 첫째, 과잉 설계(over-engineering) 함정이다. 단순한 단일 작업에 멀티 에이전트나 복잡한 오케스트레이션을 제시해, "더 정교해 보이는" 선택지로 유인한다. 시험은 "가장 단순하면서 요구를 충족하는" 설계를 정답으로 본다. 둘째, 제약 무시 함정이다. 기능적으로는 맞지만 지문의 제약(저비용, 저지연, 보안) 하나를 위반하는 선택지를 그럴듯하게 배치한다. 셋째, 메커니즘 혼동 함정이다. 예를 들어 pause_turn을 종료로 처리하거나, 사이드 이펙트가 있는 도구를 재시도하면서 멱등성을 무시하는 식으로, 동작 원리를 미세하게 틀리게 서술한다.

실전 독해 절차는 다음과 같다. 먼저 질문 문장을 가장 먼저 읽어 무엇을 고르라는지(아키텍처, 도구 설계, 프롬프트 전략, 컨텍스트 전략)를 확정한다. 그다음 지문에서 제약 키워드에 표시를 하고, 각 키워드가 어떤 선택지를 죽이는지 메모한다. 마지막에 살아남은 선택지끼리 비교하되, "더 단순한 쪽"과 "제약을 모두 만족하는 쪽"을 우선한다. 두 선택지가 모두 동작한다면, 거의 항상 제약을 더 정확히 만족하면서 덜 복잡한 쪽이 정답이다. 한 선택지가 "할 수 있다"는 이유만으로 고르지 말고, "이 제약에서 왜 이게 최선인가"를 한 문장으로 말할 수 있어야 확신한다.

정리

• 시나리오 문제는 상황보다 제약 조건이 정답을 결정한다. 라텐시, 비용, 신뢰성, 보안, 인적 통제 다섯 축의 키워드를 가장 먼저 스캔한다.
• 질문 문장을 먼저 읽어 무엇을 고르는 문제인지 확정한 뒤, 제약 키워드로 선택지를 하나씩 탈락시킨다.
• 대표 함정은 과잉 설계, 제약 무시, 메커니즘 혼동 세 가지다. 시험은 가장 정교한 답이 아니라 제약을 만족하는 가장 단순한 답을 정답으로 본다.
• 두 선택지가 모두 작동하면 더 단순하면서 제약을 정확히 만족하는 쪽을 고른다.
• "이 제약에서 왜 이게 최선인가"를 한 문장으로 설명할 수 없으면 아직 확신해서는 안 된다.