# Agent 미팅: Advisor Strategy 적용 검토

**날짜**: 2026-04-10
**소집 이유**: Anthropic이 발표한 Advisor Strategy(advisor_20260301)를 현재 멀티봇 시스템에 적용할 수 있는지 5명의 전문가 관점에서 검토
**참여 페르소나**: 시스템 아키텍트, 비용 분석가, 품질 엔지니어, DevOps, 레드팀(비판자)
**미팅 모드**: hybrid
**토론 깊이**: thorough
**총 사이클 수**: 2

---

## Cycle 1 (Independent Round)

### 아누 분석

Anthropic의 Advisor Strategy는 Opus를 advisor, Sonnet/Haiku를 executor로 페어링하는 패턴이다. advisor_20260301 tool을 통해 단일 API 호출 내에서 통합되며, Sonnet+Opus = 2.7% 성능↑, 11.9% 비용↓, Haiku+Opus = BrowseComp 2배 향상의 벤치마크를 보여준다. 현재 시스템은 아누(Opus) → dispatch → 팀장(Opus) → Sonnet/Haiku 구조이며, 팀장→아누 실시간 상담 경로가 없다. Claude Max 환경에서 API 키 없이 CLI만 사용하므로 advisor tool 직접 사용 가능 여부가 핵심 쟁점이다.

### 페르소나 의견

**시스템 아키텍트**: advisor_20260301은 Claude Max CLI에서 **직접 사용 불가** (API 키 필수). 현재 dispatch 방식(Push & Forget)과 advisor 패턴(Pull on Demand)은 제어 흐름이 정반대. Layer B(팀장↔Sonnet 사이)가 최우선 적용 지점. Claude Max 대안으로 CLAUDE.md 기반 소프트 advisor, 비동기 advisor 채널, 자기 상담 루프, **역방향 advisor**(Sonnet이 먼저 타당성 검토)를 제안. MCP 서버로 advisor를 에뮬레이션하면 API 키 없이도 가능.

**비용 분석가**: Claude Max에서 비용 최적화의 실질 목표는 "한도 내 완료 가능 작업 수 최대화". 현재 Opus 5,450 토큰/작업 → Advisor 패턴 시 3,925 토큰(~28% 절감 가능). 단, 팀장 Sonnet 격하 시 품질 저하 → 재작업 증가가 절감을 상쇄할 수 있음. 즉시 전면 도입 금지, Phase 0 계측 필수. Checkpoint 패턴(작업 완료 시 Opus 1회 검토)을 비관습적 대안으로 제안.

**품질 엔지니어**: advisor는 "설계 레벨 실수"에 효과적, "구현 레벨 오류"에는 한계. 현재 3회 실패 규칙의 핵심 문제는 **맥락 오염** — 3번 실패한 뒤 Opus가 개입하면 "최적 해법"보다 "오염 수습"에 에너지를 씀. Advisor와 QC는 대체가 아닌 보완 관계(Layer 1: Advisor 설계검증, Layer 3: QC 구현검증). 가장 중요한 선결과제: "Sonnet이 언제 Advisor를 불러야 하는지" 트리거 기준 코드화.

**DevOps**: advisor_20260301은 CLI에서 직접 사용 불가 (API 표면 없음). dispatch.py(2,350줄/96KB) 직접 수정은 **절대 피해야 함** — subprocess 경계가 advisor의 구조적 전제를 깨버림. 4가지 구현 옵션 제안: A(시스템 프롬프트), B(cross_model_review 확장), C(Task tool advisor), **D(MCP 서버가 가장 유사한 UX)**. 점진적 도입 권장.

**레드팀**: **도입 반대**. 현재 시스템이 잘 작동하는데 변경 필요성이 불분명. 2.7%는 네이티브 API 기준이며 에뮬레이션에서 달성 불가. Anthropic이 CLI 지원 추가할 수 있으므로 기다리는 것도 옵션. 즉시 해야 할 것은 **실패 데이터 수집**뿐. 소폭 개선(에스컬레이션 임계값 조정)이 시스템 변경보다 효과적.

### 합의/결론
- advisor_20260301은 Claude Max CLI에서 직접 사용 불가 (전원 합의)
- dispatch.py 직접 수정은 고위험, 피해야 함 (전원 합의)
- 에뮬레이션이 네이티브 효과를 보장하지 않음 (전원 합의)

### 미해결 항목
- 최적 대안 선택: MCP vs Checkpoint vs 시스템 프롬프트 vs 현상 유지
- 팀장 Sonnet 격하 여부
- 데이터 수집 우선 vs 즉시 개선

---

## Cycle 2 (Sequential Round)

### 아누 분석

Cycle 1에서 5가지 대안이 제시됨. Claude Max 환경에서의 현실적 최적안을 선정하기 위해 효과/비용/리스크 매트릭스 작성 필요. 핵심 쟁점은 "기다리기 vs 즉시 개선"과 "MCP advisor의 실제 효과". 근거: 전 페르소나가 advisor_20260301 직접 사용 불가에 합의했으므로 에뮬레이션 방식의 비교가 실질적 논의 대상.

### 페르소나 의견

**시스템 아키텍트**: 5대안 매트릭스 작성. MCP advisor는 advisor_20260301의 70~80% 효과 달성 가능하나 컨텍스트 단절, 호출 레이턴시, 상호작용 제한이 구조적 손실. **Checkpoint 패턴 권고** — dispatch.py 무수정, hooks 기반 자동 실행, 팀장 판단 의존도 없음. 기다리기는 "수동적 베팅"이며 데이터도 안 쌓임.

**비용 분석가**: Checkpoint 건당 $0.210, 월 $92(critical만). REVISE 50% 이하 시 수용 가능. 순수 운영비는 MCP가 저렴하나 실행 확실성 감안 시 Checkpoint 우위. 6개월 비용 차이($192~$312)는 의사결정 핵심 변수 아님.

### Devil's Advocate (레드팀)
**지정**: 레드팀(비판자)

1. **실패 시나리오**: "리뷰 인플레이션" — Opus 리뷰 기준 비일관 → 팀장이 표면적 수정만 → 2차 리뷰 PASS → 품질 무개선, 비용+지연만 증가. LLM이 LLM을 감시할 때 공모적 수렴 현상 발생 가능.
2. **후회 이유**: hooks 파일이 "100줄 → 300줄"로 비대화하여 shadow dispatch 레이어가 됨. 측정 방법 미설계 상태에서 도입은 책임 회피.
3. **더 단순한 대안**: **팀장 자기 체크리스트 강제** — 시스템 프롬프트 수정만으로 $0 구현 가능. $0 대안을 검토하지 않고 $92/월 대안으로 직행하는 것은 복잡도 편향.

**반박**: 
- DA-1: Opus 리뷰를 정량적 체크리스트 기반(테스트 커버리지, pyright 에러 등)으로 설계하면 완화 가능
- DA-2: hooks 파일 scope를 초기부터 엄격 제한 + 측정 메트릭 동시 정의
- DA-3: **수용**. $0 대안을 먼저 시도하고 효과 측정 후 Checkpoint 도입 결정

**판정**: DA-3 수용으로 설계 수정. 1단계에 자기 체크리스트를 추가.

### 비관습적 대안

**역전된 품질 계약**: Opus가 사전에 합격 기준 정의 → 팀장이 기준 따라 작업 → 자가 평가 보고서 제출 → Opus는 자가 평가의 정직성만 검토

1. **최강 지지 논거**: 사전 기준으로 리뷰 일관성 문제 구조적 해결, 팀장 1차 품질 향상
2. **최강 반론**: 명세 모호한 작업(30~50%)에서 사전 기준 무효화
3. **이상적 시나리오**: 반복적/명세 명확한 작업 유형 (API 보안 검토, DB 마이그레이션 등)
4. **노력 수준**: 높음
5. **리스크 등급**: 중간

**판정**: 장기 검토 대상으로 유보. 명세 명확한 작업에 한해 부분 도입 검토 가능.

### 합의/결론

**최적안: 3단계 점진 접근**

1. **1단계 (즉시)**: 팀장 시스템 프롬프트에 자기 체크리스트 강제 삽입
   - 비용 $0, 리스크 최저, 즉시 적용 가능
   - 체크리스트 항목: 엣지 케이스 3개+ 검토, 실패 모드 작성, 유사 작업 비교

2. **2단계 (2주 후)**: 체크리스트 효과 측정 → Checkpoint 패턴 도입 판단
   - hooks/post-done-checkpoint.py로 구현 (~100줄)
   - critical/security 레벨만 적용
   - 정량적 리뷰 기준 사용 (공모 수렴 방지)
   - 월 ~$92 (API 과금 시)

3. **3단계 (3개월 후)**: 데이터 기반 확장 결정
   - Checkpoint 데이터로 MCP advisor 도입 효과 예측
   - Anthropic CLI advisor 지원 여부 확인
   - 팀장 모델(Opus vs Sonnet) 결정 근거 확보

### 미해결 항목
- Checkpoint 리뷰의 정량적 기준 구체화 (DA 리뷰 인플레이션 방지)
- 효과 측정 메트릭 정의 (1차 성공률, 재작업률, Checkpoint 통과율)
- Claude Max 사용량 한도와 Checkpoint 호출의 실제 영향 측정

---

## 최종 합의 사항

1. **advisor_20260301은 Claude Max CLI에서 직접 사용 불가** — API 전용 기능, CLI에 tool 주입 API 표면 없음
2. **dispatch.py 직접 수정 금지** — 96KB/2,350줄 복잡도, subprocess 경계가 advisor 전제를 깨버림
3. **3단계 점진 접근 채택** — $0 자기 체크리스트 → Checkpoint 패턴 → 데이터 기반 확장
4. **팀장 Sonnet 격하는 보류** — 선행 데이터 없이 결정 불가, 3단계 데이터로 재논의
5. **MCP advisor 서버는 3순위** — 70~80% 효과 달성 가능하나 팀장 능동 호출 의존도가 높아 선행 데이터 필요
6. **비관습적 대안 "역전된 품질 계약"은 장기 검토** — 명세 명확 작업에 한해 부분 도입 가능

## 다음 단계

### 합의 사항 → 3문서 매핑 가이드
- "3단계 점진 접근" → 계획서의 '목표', '범위/포함'
- "팀장 Sonnet 격하 보류", "dispatch.py 수정 금지" → 계획서의 '범위/제외'
- "왜 advisor_20260301 직접 도입 불가" → 맥락노트의 '결정 근거'
- 기각 대안(전면 도입, dispatch 수정, 현상 유지) → 맥락노트 기록
- 1단계 자기 체크리스트 삽입 → 체크리스트에 구체적 실행 항목
- 미해결 항목 → 맥락노트의 '주의사항' + 체크리스트 [미해결] 태그