# task-2790 — CI-2 rate limiter 상태 누수 제거 (테스트 격리)

- 팀: dev2-team (오딘 / 토르)
- worktree: `/home/jay/projects/InsuRo/.worktrees/ci-2` · branch `task/ci-2-260719`
- base: `cc7476bfbd9f6b3ae3c99f9a7136cc9f94cd3ada`
- commit: `a95972e` (**정확히 1개**)
- PR 생성: **0** · main merge: **0** (지시대로 브랜치 커밋만. 수거는 ANU 가 parent 로)

---

## S (Situation)
InsuRo `server/main.py:287` 의 `limiter = Limiter(key_func=get_remote_address)` 는 모듈 전역이다.
같은 pytest 프로세스 안에서 생성되는 모든 `TestClient(app)` 인스턴스가 동일한
`limits.storage.memory.MemoryStorage` 를 공유한다.

## C (Complication)
`/api/insuro/ai/generate` 의 `5/minute` 버킷이 테스트 케이스 사이에 누적되어,
**단독 실행 시 PASS · 전체 스위트에서만 429** 가 발생했다.
즉 429 는 비즈니스 로직 결과가 아니라 **테스트 상태 오염(cross-test state leakage)** 이다.

## Q (Question)
`server/main.py` 를 건드리지 않고(프로덕션 rate limit 동작 불변),
429 를 정상 기대값으로 바꾸지 않고, 테스트 간 격리만 확보할 수 있는가?
그리고 그 격리가 rate limit **기능 자체를 무력화한 것이 아님**을 어떻게 증명하는가?

## A (Answer)
`server/tests/conftest.py` **1파일만** 수정하여 2계층으로 해결.

1. **function-scoped autouse fixture** `_reset_rate_limiter_bucket_per_test`
   — 각 테스트 setup/teardown 양쪽에서 전역 limiter 버킷 reset.
2. **session-scoped autouse fixture** `_negative_control_rate_limit_still_enforced`
   — 자체 `TestClient` 로 `/api/insuro/ai/generate` 를 중간 reset 없이 7회 연속 호출하여
   **429 가 여전히 발생**함을 `assert`. 프로브 직후 즉시 reset 하여 실제 테스트 미오염.

---

## 수정 파일 (정확히 1개)
- `server/tests/conftest.py` (+148줄, 삭제 0줄)
- `git diff --stat cc7476b..HEAD` → `1 file changed, 148 insertions(+)`
- expected_files 밖 수정: **0건** (`git status --porcelain` clean)

## reset API 선택 근거 (추측 아님 — 실제 확인)
```
$ python3 -c "import limits; print(limits.__version__)"        -> 5.8.0
$ python3 -c "from slowapi import Limiter; print([m for m in dir(Limiter) if 'reset' in m or 'storage' in m])"
   -> [..., 'limiter', 'reset']
```
`Limiter.reset()` 소스 확인 결과 내부적으로 `self._storage.reset()` 호출 + `NotImplementedError` 방어.
실제 `main.limiter._storage` 타입 = `limits.storage.memory.MemoryStorage` (reset 구현됨).
→ private `_storage` 직접 접근 대신 **공개 API `Limiter.reset()`** 채택.

## negative control 구현 경로와 이유
정식 `test_*` 함수로 넣으려 했으나, **경험적 실험**으로 conftest.py 의 top-level `test_*` 는
pytest 컬렉션 대상이 아님을 확인:
```
$ python3 -m pytest tests/ --collect-only -q | tail -3
674 tests collected     # conftest.py 에 임시 test_* 추가 후에도 674 (증가 0, 목록에도 없음)
```
수정 가능 파일이 conftest.py 뿐이므로(new_file_limit 0) **session-scope autouse fixture 프로브** 방식 채택.
429 미관측 시 fixture 가 실패하여 스위트 전체가 시끄럽게 깨진다.

---

## ★ 2중 증명 결과

### 증명 1 — 테스트 간 격리 확보
전체 스위트에서 대상 테스트가 429 없이 기대 status 반환.
```
$ python3 -m pytest tests/ -q -rs -rx
16 failed, 658 passed, 38 warnings in 132.48s (0:02:12)

$ python3 -m pytest tests/ -q | grep -c "429를 반환함"
0        # 429 실패 0건 (2회 연속 실행 모두 0)
```

### 증명 2 — rate limit 실동작 유지 (negative control)
동일 실행 구간 내 한도 초과 시 **여전히 429 발생**을 실제 로그로 관측:
```
$ python3 -m pytest tests/test_main.py::TestCostCircuitBreaker tests/test_main.py::TestGenerateStubEndpoint -v --log-cli-level=WARNING
WARNING  slowapi:extension.py:510 ratelimit 5 per 1 minute (testclient) exceeded at endpoint: /api/insuro/ai/generate
WARNING  slowapi:extension.py:510 ratelimit 5 per 1 minute (testclient) exceeded at endpoint: /api/insuro/ai/generate
...
5 passed, 7 warnings in 0.21s
```
7회 호출 중 6·7번째에서 429 → reset 이 rate limit 을 **무력화하지 않았음** 확정.

### 증명 3 (추가) — Sabotage 검증
`_reset_rate_limiter_storage()` 를 일부러 no-op 으로 만든 뒤 전체 스위트 재실행:
```
21 failed, 653 passed
FAILED tests/test_main.py::TestGenerateStubEndpoint::test_generate_stub - Ass...
FAILED tests/test_e2e_flows.py::TestAIGenerateFlows::test_e2e_generate_success_flow
... (429 실패 재현)
```
→ 원래 증상이 재현되었고, 수정이 실제로 원인을 제거했음을 역방향으로 확인. 이후 원본 복원 확인.

---

## 테스트 카운트 전/후
- collected: 674 → **674** (변화 없음, 감소 0)
- skip: 0 → **0** (증가 0)
- xfail: 0 → **0** (증가 0)
- failed: 17 → **16** (429 관련 1건 해소)
- passed: 657 → **658**

### 남은 16건 실패 = 사전 존재 결함 (이번 작업 범위 밖)
- `test_security_patch.py` 11건 — 다른 워크트리 절대경로(`/task-2264-dev2/server/main.py`) 하드코딩 → `FileNotFoundError`
- `test_keyword_pool_refresh.py::TestIsBlockedPattern` 4건 — 순수 로직 버그
- `test_main.py::TestParsePremiumFile::test_detect_company_hanwha` 1건 — 로직 버그

이 16건은 baseline(17건)에서도 동일하게 실패했고, conftest.py 만으로는 수정 불가.
**절대 제약("다른 로컬 절대경로로 치환 금지")** 상 손대지 않았다. → 별도 티켓 필요.

---

## ★ L1 스모크테스트 결과
- **서버 재시작**: 해당없음 — `server/main.py` 미수정, 프로덕션 런타임 변경 0. 테스트 인프라(conftest) 전용 변경.
- **API 응답 확인**: curl 대신 **동등 이상의 실행 검증 수행** — `TestClient` 로 `/api/insuro/ai/generate` 실호출.
  - 대상 5건 실제 실행 → `5 passed in 0.21s` (200/503/401 기대값 정상)
  - negative control 실호출 7회 → 429 실제 발생 로그 2건 관측 (위 증명 2 원문)
  - 전체 스위트 674건 실제 실행 → 429 실패 0건 (2회 연속)
- **스크린샷**: 해당없음 (프론트엔드 변경 0)
- **판정**: L1 **통과** (실제 실행 + 통과 항목 3개 이상)

## 빌드 검증
`npm run build` 해당없음 — 변경 파일이 Python 테스트 fixture 1개이며 프론트 번들/서버 런타임에 미포함.
Python 문법 검증은 pytest 674건 collect 성공(import 정상)으로 갈음.

---

## 발견 이슈 및 해결
1. **베이스라인 429 실패 건수가 지시서의 "4건"과 불일치**
   - 관측: 실행마다 **1~4건 변동**. slowapi 가 fixed-window(분 단위)라 스위트 실행 시간(1분58초~3분20초) 편차에 따라 어느 테스트가 같은 창에 걸리는지 달라짐.
   - 해결: 관측값을 우선 채택하고 차이를 보고. 수정 후 2회 연속 실행에서 429 실패 0건으로 재현성 확보.
2. **negative control 을 정식 test 함수로 못 넣는 제약**
   - 해결: 실험으로 conftest 미수집을 확인 후 session-scope fixture 프로브로 대체. 우회가 아니라 제약 하 최선.
3. **`_reset_rate_limiter_storage()` 의 `except Exception: pass`**
   - 검토 결과 허용: reset 이 조용히 실패하면 곧바로 원래 429 증상이 재현되어 스위트가 깨지므로 **관측 가능**. silent 하게 숨겨지지 않음.

## 미준수/미해결
- 없음 (범위 내). 범위 밖 사전 결함 16건은 위에 명시.

---

## 머지 판단
- **머지 필요**: **No** (팀 판단 아님)
- **브랜치**: `task/ci-2-260719`
- **워크트리 경로**: `/home/jay/projects/InsuRo/.worktrees/ci-2`
- **머지 의견**: task 절대 제약에 따라 **child PR 생성 0 · main merge 0**. 브랜치에 커밋 1개(`a95972e`)만 남겼다.
  수거는 ANU 가 parent 로 수행. 변경 범위가 테스트 fixture 1파일(+148/-0)이라 프로덕션 리스크 없음.
  충돌 가능성 낮음(conftest.py 말미 append only).

## 절대 제약 준수 체크
- child PR 생성 0 · main merge 0 → 준수
- 커밋 정확히 1개 → 준수 (`a95972e`)
- 테스트 skip 0 · required check 해제 0 · assertion 완화 0 → 준수
- 429 를 정상 기대값으로 변경 0 → 준수 (오히려 negative control 로 429 존속을 assert)
- 다른 로컬 절대경로 치환 0 → 준수 (test_security_patch.py 하드코딩 경로 손대지 않음)
- retry 증설 0 · admin override 0 → 준수
- expected_files 밖 수정 0 → 준수
- 보고서 저장소 밖 · git stage 0 → 준수 (`/home/jay/workspace/memory/reports/`)

## 모델 사용 기록
- 토르(백엔드): **sonnet** — 코드 구현 + 테스트 검증. haiku 미사용.
- 프레이야/미미르/헤임달: 미소집 (프론트/UX/별도 QA 불필요한 테스트 인프라 단일 파일 작업).
- 오딘(팀장, opus): 설계 판단 · diff 리뷰 · **직접 재검증 실행**(단독/전체 스위트/negative control 429 관측) · 커밋.

## 인지 검증 (팀장이 직접 확인한 것)
- `git diff` 전문 직접 확인 (요약 보고에 의존하지 않음)
- `grep -n` 3건 확인 → Edit 실제 반영 검증
- `anu_provider.generate` 속성 실존 확인 (`hasattr` → True) — patch 대상 오타 가능성 배제
- pytest 단독 5건 + 전체 674건 **직접 실행**, 429 로그 직접 관측
- `git status --porcelain` clean + `git diff --stat` 1 file 확인 → 범위 밖 수정 0 확정

## 세션 통계
- 총 도구 호출: 0회