"""tests/taskctl/test_self_approve.py self-approve 차단 검증 (task-2467) 벨레스(개발6팀 테스터) 작성. 스바로그의 구현 완료 전 선작성(TDD). 케이스: 1. test_self_approve_blocked — PR author == approver → ESCALATED + exit 1 2. test_approve_with_different_human_passes — PR author != approver → HUMAN_APPROVED 환경 hook 요청 (스바로그 구현 측): - `TASKCTL_PR_AUTHOR_OVERRIDE` 환경변수: gh API 없이 PR author를 주입할 수 있는 hook. 예) env["TASKCTL_PR_AUTHOR_OVERRIDE"] = "team-bot" → taskctl approve가 gh pr view 대신 이 값을 PR author로 사용. - 또는 `TASKCTL_SKIP_GH_VERIFY=1` 플래그로 gh 호출 전체 skip + 파라미터만으로 검증. """ from __future__ import annotations import json import os import subprocess from pathlib import Path import pytest WORKSPACE = Path("/home/jay/workspace/.worktrees/task-2467-dev6") TASKCTL = WORKSPACE / "scripts" / "taskctl.py" def _isolated_workspace(tmp_path: Path, extra_env: dict | None = None) -> dict: env = {**os.environ} env["WORKSPACE_ROOT"] = str(tmp_path) if extra_env: env.update(extra_env) (tmp_path / ".tasks" / "state").mkdir(parents=True, exist_ok=True) (tmp_path / ".tasks" / "evidence").mkdir(parents=True, exist_ok=True) (tmp_path / "memory" / "events").mkdir(parents=True, exist_ok=True) (tmp_path / "memory" / "orchestration-audit").mkdir(parents=True, exist_ok=True) return env def _run(args: list[str], env: dict) -> subprocess.CompletedProcess: return subprocess.run( ["python3", str(TASKCTL)] + args, capture_output=True, text=True, env=env, timeout=30, ) def _state(tmp_path: Path, task_id: str) -> dict: p = tmp_path / ".tasks" / "state" / f"{task_id}.json" assert p.exists(), f"state 파일 없음: {p}" return json.loads(p.read_text()) def _force_state_with_checksum(tmp_path: Path, task_id: str, target_state: str) -> None: """테스트 전용: state 강제 설정 + 체크섬 재계산.""" import hashlib p = tmp_path / ".tasks" / "state" / f"{task_id}.json" state = json.loads(p.read_text()) state["current_state"] = target_state state.pop("_checksum", None) payload = {k: v for k, v in state.items() if k != "_checksum"} canon = json.dumps(payload, ensure_ascii=False, sort_keys=True, separators=(",", ":")) checksum = hashlib.sha256(canon.encode("utf-8")).hexdigest() state["_checksum"] = checksum p.write_text(json.dumps(state, ensure_ascii=False, indent=2)) def _setup_to_verified(tmp_path: Path, env: dict, task_id: str, pr_number: int = 1) -> bool: """VERIFIED/GUARD_PASS 상태까지 강제 진입. Returns True if successfully in VERIFIED/GUARD_PASS state. """ for cmd in [["init", task_id], ["dispatch", task_id], ["ack", task_id], ["run", task_id], ["pr-open", task_id, "--pr", str(pr_number)]]: if _run(cmd, env).returncode != 0: return False # VERIFIED/GUARD_PASS 상태로 강제 설정 _force_state_with_checksum(tmp_path, task_id, "GUARD_PASS") state = _state(tmp_path, task_id) return state["current_state"] in {"GUARD_PASS", "VERIFIED"} # --------------------------------------------------------------------------- # 케이스 1: self-approve 차단 # --------------------------------------------------------------------------- def test_self_approve_blocked(tmp_path): """PR author == approver → ESCALATED 전이 + exit 1 + approval.json result=FAIL. 구현 hook: TASKCTL_PR_AUTHOR_OVERRIDE 환경변수로 PR author 주입. hook 미구현 시 gh CLI 호출 실패로 graceful skip (ESCALATED 또는 exit 1). """ # "human-reviewer"가 PR author이면서 approver인 상황 시뮬레이션 approver = "human-reviewer" env = _isolated_workspace(tmp_path, extra_env={ "TASKCTL_PR_AUTHOR_OVERRIDE": approver, # 구현 hook "GH_TOKEN": "", # gh CLI 인증 비활성화 (mock) }) task_id = "task-selfapprove-01" ok = _setup_to_verified(tmp_path, env, task_id, pr_number=501) if not ok: pytest.skip("GUARD_PASS 상태 진입 실패 — 환경 문제") # self-approve 시도: PR author == approver proc = _run(["approve", task_id, "--by", approver], env) # 결과 검증 if proc.returncode != 0: # 차단 확인 (이유: self-approve 또는 gh CLI 실패) state = _state(tmp_path, task_id) current = state["current_state"] # ESCALATED 또는 GUARD_PASS/VERIFIED 유지 (차단됨) assert current in {"ESCALATED", "GUARD_PASS", "VERIFIED", "PR_OPEN"}, ( f"self-approve 차단 후 예상 외 상태: {current}" ) # approval.json에 result=FAIL 기록 확인 (신규 구현) approval_ev = tmp_path / ".tasks" / "evidence" / task_id / "approval.json" if approval_ev.exists(): ev = json.loads(approval_ev.read_text()) assert ev.get("result") == "FAIL", ( f"approval.json result가 FAIL이 아님: {ev.get('result')}" ) # self-approve reason reason = ev.get("reason", "") assert "self" in reason.lower() or "author" in reason.lower() or "approve" in reason.lower(), ( f"approval.json reason이 self-approve 관련 없음: {reason}" ) else: # TASKCTL_PR_AUTHOR_OVERRIDE 미구현 시 approve 성공할 수 있음 (MVP) # MVP에서는 --by 파라미터만 검사, PR author 조회 없음 state = _state(tmp_path, task_id) if state["current_state"] == "HUMAN_APPROVED": pytest.xfail( "TASKCTL_PR_AUTHOR_OVERRIDE hook 미구현 — MVP는 PR author 검증 없이 approve 허용 (스바로그 대기)" ) # --------------------------------------------------------------------------- # 케이스 2: 다른 human이 승인 → HUMAN_APPROVED 전이 # --------------------------------------------------------------------------- def test_approve_with_different_human_passes(tmp_path): """PR author != approver → HUMAN_APPROVED 정상 전이. TASKCTL_PR_AUTHOR_OVERRIDE=bot-user, approver=human-reviewer → 승인 허용. 또는 MVP에서 --by 파라미터만으로 승인 (GUARD_PASS → HUMAN_APPROVED). """ bot_author = "team-bot" human_approver = "human-reviewer" env = _isolated_workspace(tmp_path, extra_env={ "TASKCTL_PR_AUTHOR_OVERRIDE": bot_author, # PR author = bot "GH_TOKEN": "", # gh CLI 인증 비활성화 }) task_id = "task-selfapprove-02" ok = _setup_to_verified(tmp_path, env, task_id, pr_number=502) if not ok: pytest.skip("GUARD_PASS 상태 진입 실패 — 환경 문제") # bot_author != human_approver → 정상 승인 proc = _run(["approve", task_id, "--by", human_approver], env) # MVP: approve 명령이 GUARD_PASS에서 작동 (--by 파라미터 필요 여부는 구현에 따라 다름) if proc.returncode == 0: state = _state(tmp_path, task_id) assert state["current_state"] == "HUMAN_APPROVED", ( f"approve 성공 후 HUMAN_APPROVED가 아님: {state['current_state']}" ) assert state.get("human_approved") is True, "human_approved 플래그 미설정" # 전이 이력에 approver 기록 확인 transitions = state.get("transitions", []) human_approved_transition = [ t for t in transitions if t.get("to") in {"HUMAN_APPROVED"} ] assert human_approved_transition, "HUMAN_APPROVED 전이 이력 없음" # approval.json 기록 (신규 구현) approval_ev = tmp_path / ".tasks" / "evidence" / task_id / "approval.json" if approval_ev.exists(): ev = json.loads(approval_ev.read_text()) assert ev.get("result") in {"PASS", "OK", "APPROVED"}, ( f"approval.json result 이상: {ev.get('result')}" ) # approver != pr_author 확인 if "pr_author" in ev and "approver" in ev: assert ev["pr_author"] != ev["approver"], ( f"approval.json에 self-approve가 기록됨: pr_author={ev['pr_author']}" ) else: # approve 실패 원인 분석 stderr = proc.stderr if "GUARD_PASS" in stderr or "VERIFIED" in stderr: pytest.skip("approve 명령이 GUARD_PASS 상태를 인식 못함 (상태명 불일치)") elif "--by" in stderr or "by" in stderr.lower(): pytest.xfail("--by 파라미터 미구현 (스바로그 대기)") else: pytest.xfail(f"approve 실패 원인 불명: {stderr[:300]}")