iFgdZddlmZddlZddlZddlZddlZddlmZedZ ddZ d ddZ ddZ d d!d Z d"d#d Zd$d Zd Zd ZdZdZdZdZdZdZdZdZdZdZdZdZdZdZy)%u~ tests/test_watchdog_chairman_definition.py task-2405 회귀 테스트 — 회장 정의 FALSE positive 5 case 알람 0건 보장 session-watchdog.sh 4 fix(A/B/C/D) 기반 회장 정의 (2026-05-03): TRUE positive(진짜 죽음)만 알람 FALSE positive 절대 0건 5 case: 1. 진행 중 작업 (long-running) 2. 완료 작업 (.done 발급) 3. 회장 인지 (.escalate / .escalate.acked 발급) 4. 후속 task 위임됨 (.superseded_by 마커 또는 다른 task md 언급) 5. 진행 마커 (codex-gate, qc-done, done.merging, pr-creating, external-running) 시나리오: OK 케이스 (skip 검증, 알람 0건): 1. test_escalate_marker_skips_chairman_def 2. test_escalate_acked_skips_chairman_def 3. test_escalate_and_acked_both_skips 4. test_done_file_skips_and_status_promoted 5. test_done_acked_skips_and_status_promoted 6. test_done_notified_skips_and_status_promoted 7. test_done_clear_skips 8. test_superseded_by_marker_skips 9. test_other_task_md_mentions_original_skips 10. test_progress_marker_codex_gate_skips 11. test_progress_marker_qc_done_skips 12. test_progress_marker_done_merging_skips 13. test_progress_marker_pr_creating_skips 14. test_progress_marker_external_running_skips NG 케이스 (TRUE positive 검증, 알람 1건): 15. test_truly_stalled_no_marker_alerts 종합 검증: 16. test_chairman_5_ng_cases_all_zero_alarm ) annotationsN)Pathz//home/jay/workspace/scripts/session-watchdog.shc d|iS)utask-timers.json 포맷.tasks)rs >/home/jay/workspace/tests/test_watchdog_chairman_definition.py _build_timersr 6s U ctjdtjtj|z}||d||dddS)uIstatus=running 태스크 항목. start_time은 현재 - start_offset 초.z%Y-%m-%dT%H:%M:%S.000000runningr)task_idteam_idstatus start_time task_file retry_count max_retry)timestrftime localtime)rrr start_offsetstart_tss r _running_taskr;sM}}" tyy{\12H  r cdD]}||z jdd|dz dz jtj|d|dz jd d|dz d z jd dtj d}|j d d |d}|dz dz }|j|d|jd|S)u tmp_path 아래 필수 디렉토리·파일을 생성하고 WORKSPACE가 tmp_path를 가리키도록 패치된 스크립트를 반환. )z memory/eventszmemory/heartbeatsz memory/taskslogsscriptsT)parentsexist_okmemorytask-timers.jsonutf-8encodingz .env.keyszANU_BOT_TOKEN=dummy z task-timer.pyz#!/usr/bin/env python3 zWORKSPACE="/home/jay/workspace"z WORKSPACE=""rzsession-watchdog.shi)mkdir write_textjsondumps ORIG_SCRIPT read_textreplacechmod)tmp_pathtimersdorigpatched script_paths rsetup_workspacer4Qs : ATD9:--99 6W:  ''(?''R?*66"W7  ' 2Dll) hZq!GY&)>>K7W5e r c Htjj}d|d<|r|j|t j dt |gddt |xs||d}|dz dz }|jr|jd nd }|j|fS) uZ WATCHDOG_DRY_RUN=1로 스크립트 실행 후 (returncode, log_contents) 반환. 1WATCHDOG_DRY_RUNbashT)capture_outputtextcwdenvtimeoutrzsession-watchdog.logr"r#) osenvironcopyupdate subprocessrunstrexistsr+ returncode)r3r. extra_envr<r=resultlog_file log_contents r run_watchdogrMys **// C!C 9 ^^ [!"  x  F& #99H:B//:K($$g$6QSK   k ))r c|j|dkDr0tj|z }tj|||fyy)u<파일 생성 후 mtime을 (현재 - age_seconds)로 설정.rN)touchrr@utime)path age_secondsts r touch_filerTs9JJLQ IIK+ % 1vr cttj|jd|jddS)uMtask-timers.json에서 특정 task의 status 읽기 (Fix B 박제 검증용).rrr )r(loadsr+get) timers_filetids r _read_statusrZs1 ::k++- .w 7 < @ @9 UUr cPd}t|t|di}t||}|dz dz |dz }t|dt|dz dz |d z t ||\}}|d k(sJd |vsd |vs Jd ||d|vs Jd|d|vs|d|vs Jd|yy)u task-2405 회장 정의 Fix A: .escalate 단독 마커 존재 → skip, 로그에 '알람 억제' 포함 (알람 0건). 회장 승인 대기 상태에서는 절대 알람 없음. z task-cd001 dev2-teamr heartbeats .heartbeatrRevents .escalateru 알람 억제u회장 승인 대기uescalate 억제 로그 없음: (team=uKescalate 단독 상태에서 stalled 알람 발생 (회장 정의 위반): u 알람 없음u 알람 발생 (FALSE positive): Nr rr4rTrMr.rYr/r3hbrclogs r'test_escalate_marker_skips_chairman_defris C CsK!@A BF!(F3K H | +Z.@ @Brt$x("X-3%y0AAB;1GB 7N7 c !%;s%B0 )#/0 BU&> $\ UVYUZ[\ $ c !uF^3%>1 *3%01 >%> !r cJd}t|t|di}t||}|dz dz |dz }t|dt|dz dz |d z t ||\}}|d k(sJ|d |vs Jd |d |vr!||j d dvs Jd|yy)u task-2405 회장 정의 Fix A 핵심: .escalate.acked 존재 → 회장이 이미 인지 = 알람 그만 → skip. acked = 회장 인지 = 더 이상 알람 불필요. z task-cd002r\r r]r^r_r`ra.escalate.ackedrrcuQescalate.acked 상태에서 stalled 알람 발생 (회장 정의 핵심 위반): DRY_RUNu9DRY_RUN 알람 본문에 tid 포함됨 (FALSE positive): N)r rr4rTrMsplitres r&test_escalate_acked_skips_chairman_defros C CsK!@A BF!(F3K H | +Z.@ @Brt$x("X-3%0GGH;1GB 7N7U&> $b [\_[`ab $C#))I.q11 NGu M N1r c&d}t|t|di}t||}|dz dz |dz }t|d|dz dz }t||d z t||d z t ||\}}|d k(sJ|d |vs Jd |y)ur task-2405 회장 정의 Fix A: .escalate + .escalate.acked 둘 다 있어도 → skip (알람 0건). z task-cd003r\r r]r^r_r`rarbrkrrcuNescalate+acked 모두 있는데 stalled 알람 발생 (회장 정의 위반): Nrd)r.rYr/r3rf events_dirrgrhs r"test_escalate_and_acked_both_skipsrrs C CsK!@A BF!(F3K H | +Z.@ @Brt$H$x/Jzse9--.zse?334;1GB 7N7U&> $_ XY\X]^_ $r cHd}t|t|di}t||}|dz dz }|dz dz |dz }t|dt|dz d z |d z t ||\}}|d k(sJ|d |vs Jd |t ||}|dk(s Jd|dy)u task-2405 회장 정의 Fix B: .done 파일 존재 → 완료 처리 skip + task-timers.json에 status=escalated 박제. z task-cd004r\r r!r]r^r_r`ra.donerrcu>.done 있는데 stalled 알람 발생 (회장 정의 위반): escalatedu;.done 후 status 박제 실패 (기대: escalated, 실제: )Nr rr4rTrMrZ r.rYr/r3rXrfrgrh status_afters r(test_done_file_skips_and_status_promotedrz s C CsK!@A BF!(F3KX%(::K H | +Z.@ @Brt$x("X-3%u =>;1GB 7N7U&> $O HNO $ S1L ; &V El^STUV &r cFd}t|t|di}t||}|dz dz }|dz dz |dz }t|dt|dz d z |d z t ||\}}|d k(sJ|d |vs Jd |t ||}|dk(s Jd|y)uc task-2405 회장 정의 Fix B: .done.acked 존재 → skip + status=escalated 박제. z task-cd005r\r r!r]r^r_r`raz .done.ackedrrcu-.done.acked 있는데 stalled 알람 발생: ruu&.done.acked 후 status 박제 실패: Nrwrxs r)test_done_acked_skips_and_status_promotedr|+s C CsK!@A BF!(F3KX%(::K H | +Z.@ @Brt$x("X-3%{0CCD;1GB 7N7U&> $> 7u=> $ S1L ; &@ 0?@ &r cFd}t|t|di}t||}|dz dz }|dz dz |dz }t|dt|dz d z |d z t ||\}}|d k(sJ|d |vs Jd |t ||}|dk(s Jd|y)u task-2405 회장 정의 Fix B 신규 마커: .done.notified 존재 → skip + status=escalated 박제. notified = 완료 알림 발송됨 = 알람 불필요. z task-cd006r\r r!r]r^r_r`raz.done.notifiedrrcuP.done.notified 있는데 stalled 알람 발생 (Fix B 신규 마커 미처리): ruu).done.notified 후 status 박제 실패: Nrwrxs r,test_done_notified_skips_and_status_promotedr~Js C CsK!@A BF!(F3KX%(::K H | +Z.@ @Brt$x("X-3%~0FFG;1GB 7N7U&> $a Z[^Z_`a $ S1L ; &C 3L>BC &r cd}t|t|di}t||}|dz dz |dz }t|dt|dz dz |d z t ||\}}|d k(sJ|d |vs Jd |y )ue task-2405 회장 정의 Fix B: .done.clear 존재 → 완료 처리 skip (알람 0건). z task-cd007r\r r]r^r_r`raz .done.clearrrcu-.done.clear 있는데 stalled 알람 발생: Nrdres rtest_done_clear_skipsrks C CsK!@A BF!(F3K H | +Z.@ @Brt$x("X-3%{0CCD;1GB 7N7U&> $> 7u=> $r cFd}t|t|di}t||}|dz dz }|dz dz |dz }t|dt|dz d z |d z t ||\}}|d k(sJ|d |vs Jd |t ||}|dk(s Jd|y)u task-2405 회장 정의 Fix C: .superseded_by 마커 존재 → 후속 task에 위임됨 → skip + 박제. z task-cd008r\r r!r]r^r_r`ra.superseded_byrrcuF.superseded_by 마커 있는데 stalled 알람 발생 (Fix C 위반): ruu).superseded_by 후 status 박제 실패: Nrwrxs rtest_superseded_by_marker_skipsrs C CsK!@A BF!(F3KX%(::K H | +Z.@ @Brt$x("X-3%~0FFG;1GB 7N7U&> $W PQTPUVW $ S1L ; &C 3L>BC &r cd}t|t|di}t||}|dz dz }|dz dz |dz }t|d|dz d z |d z j d d |dz d z dz j d|dd t ||\}}|dk(sJ|d|vs Jd|t ||}|dk(s Jd|y)u task-2405 회장 정의 Fix C 2순위: 후속 task md 본문에 원본 task_id 언급 → 후속 위임됨으로 판단 → skip + 박제. z task-cd009r\r r!r]r^r_r`rz.mdu6# Original task --- team: dev2-team --- 작업 내용 r"r#z task-9999.mdu # 후속 task ## 배경 원본: u 실패 후 재작업 rrcuJ후속 task md 언급인데 stalled 알람 발생 (Fix C 2순위 위반): ruu0후속 task md 언급 후 status 박제 실패: N)r rr4rTr'rMrZrxs r*test_other_task_md_mentions_original_skipsrs: C CsK!@A BF!(F3KX%(::K H | +Z.@ @Brt$7"uC[0<< E= 7"^3?? ,SE1HI@ ;1GB 7N7U&> $[ TUXTYZ[ $ S1L ; &J :<.IJ &r cd}t|t|di}t||}|dz dz |dz }t|dt|dz dz |d z t ||\}}|d k(sJd |vs Jd ||d |vs Jd|y)u task-2405 회장 정의 5번 (진행 마커): events/.codex-gate 존재 + heartbeat 노후 → alive (알람 0건). long-running 단계 보호 — Codex G1/G2 검증 중. z task-cd010r\r r]r^r_r`ra .codex-gateralive (long-running)u'codex-gate 마커 alive 로그 없음: rcu6codex-gate 진행 마커인데 stalled 알람 발생: Nrdres r%test_progress_marker_codex_gate_skipsrs C CsK!@A BF!(F3K H | +Z.@ @Brt$x("X-3%{0CCD;1GB 7N7 !S (8 1#78 (U&> $G @FG $r cd}t|t|di}t||}|dz dz |dz }t|dt|dz dz |d z t ||\}}|d k(sJd |vs Jd ||d |vs Jd|y)u task-2405 회장 정의 5번: events/.qc-done 존재 + heartbeat 노후 → alive (알람 0건). QC 진행 중 단계 보호. z task-cd011r\r r]r^r_r`raz.qc-donerru$qc-done 마커 alive 로그 없음: rcu3qc-done 진행 마커인데 stalled 알람 발생: Nrdres r"test_progress_marker_qc_done_skipsrs C CsK!@A BF!(F3K H | +Z.@ @Brt$x("X-3%x0@@A;1GB 7N7 !S (5 .se45 (U&> $D =cUCD $r cd}t|t|di}t||}|dz dz |dz }t|dt|dz dz |d z t ||\}}|d k(sJd |vs Jd ||d |vs Jd|y)u task-2405 회장 정의 5번: events/.done.merging 존재 + heartbeat 노후 → alive (알람 0건). G3 머지 진행 중 단계 보호. z task-cd012r\r r]r^r_r`raz .done.mergingrru)done.merging 마커 alive 로그 없음: rcu8done.merging 진행 마커인데 stalled 알람 발생: Nrdres r'test_progress_marker_done_merging_skipsr s C CsK!@A BF!(F3K H | +Z.@ @Brt$x("X-3%}0EEF;1GB 7N7 !S (: 3C59: (U&> $I B3%HI $r cd}t|t|di}t||}|dz dz |dz }t|dt|dz dz |d z t ||\}}|d k(sJd |vs Jd ||d |vs Jd|y)u task-2405 회장 정의 5번: events/.pr-creating 존재 + heartbeat 노후 → alive (알람 0건). PR 생성 중 단계 보호 (신규 마커). z task-cd013r\r r]r^r_r`raz .pr-creatingrru(pr-creating 마커 alive 로그 없음: rcu7pr-creating 진행 마커인데 stalled 알람 발생: Nrdres r&test_progress_marker_pr_creating_skipsr&s C CsK!@A BF!(F3K H | +Z.@ @Brt$x("X-3%|0DDE;1GB 7N7 !S (9 23%89 (U&> $H A#GH $r cd}t|t|di}t||}|dz dz |dz }t|dt|dz dz |d z t ||\}}|d k(sJd |vs Jd ||d |vs Jd|y)u task-2405 회장 정의 5번: events/.external-running 존재 + heartbeat 노후 → alive (알람 0건). 외부 CLI 호출 중 단계 보호 (신규 마커). z task-cd014r\r r]r^r_r`ra.external-runningrru-external-running 마커 alive 로그 없음: rcu<external-running 진행 마커인데 stalled 알람 발생: Nrdres r+test_progress_marker_external_running_skipsrCs C CsK!@A BF!(F3K H | +Z.@ @Brt$x("X-3%7H0IIJ;1GB 7N7 !S (> 7u=> (U&> $M FseLM $r cd}t|t|di}t||}|dz dz |dz }t|dt ||\}}|dk(sJd |vs Jd |d |vs Jd |||vs Jd |y)u task-2405 회장 정의 TRUE positive: 모든 마커 부재 + heartbeat 노후 + events 노후 + PR/worktree 부재 → 알람 1건. ★ 이 케이스만이 진짜 죽음 = 알람이 발생해야 정상. 조건: - .escalate 없음 - .escalate.acked 없음 - .done 계열 없음 - .superseded_by 없음 - 진행 마커 없음 - heartbeat 2000s 노후 (임계 초과) - events 파일 없음 (activity 없음) - gh/git worktree 없음 (DRY_RUN 환경) z task-cd015 dev1-teamr r]r^r_r`rSTALLEDu5TRUE positive 케이스에서 STALLED 판정 없음: rluHTRUE positive 케이스에서 알람 미발생 (watchdog 무력화됨): u.TRUE positive tid가 알람 본문에 없음: Nrdres r#test_truly_stalled_no_marker_alertsres C CsK!@A BF!(F3K H | +Z.@ @Brt$;1GB 7N7  ZTUXTYZZ   mghkglmm  #:MGuMM:r cd}d}d}d}d}t|t|d|t|d|t|d|t|d|t|di}t||}|dz dz }|dz d z } |||||fD]} t| | d z d t||d z t||dz t||dz t||dz t||dz t ||\} | dk(sJ|||||fD]} | dvr Jd| ddvr:dvrj ddnd} |||||fD]} | d| vr Jd| dt fd|||||fD} | dk(s Jd| dy)u task-2405 회장 정의 종합 검증: 5가지 FALSE positive 케이스를 5개 task로 한번에 실행 → 총 알람 0건. task-cd020: 진행 중 작업 (long-running, codex-gate 마커) task-cd021: 완료 작업 (.done 발급) task-cd022: 회장 인지 (.escalate.acked) task-cd023: 후속 task 위임됨 (.superseded_by) task-cd024: 진행 마커 (external-running) z task-cd020z task-cd021z task-cd022z task-cd023z task-cd024r\r rar]r^r_r`rrtrkrrrrcu[종합검증] u: 알람 발생 (FALSE positive — 회장 정의 위반): rlrmr?u([종합검증] DRY_RUN 알람 본문에 u 포함됨 (FALSE positive): c3FK|]}j|dyw)rcN)count).0rYrhs r z:test_chairman_5_ng_cases_all_zero_alarm..s(  SE.!s!u)[종합검증] 5 FALSE positive case 중 u건 알람 발생: N)r rr4rTrMrnsum)r.tid_long_runningtid_done tid_ackedtid_superseded tid_progressr/r3rqhb_dirrYrgdry_run_section stalled_countrhs @r'test_chairman_5_ng_cases_all_zero_alarmrsh$HI!NL -(8+F-+6=K8 nkBmL+> F"(F3KH$x/J  < /F!(I~|TB6se:..DABz/0 <<=zxj../zyk99:z~.n==>z|n,=>>?;1GB 7N7!(I~|Tcf~S( ccU"\]`\a b c(c C5>#5E#))I.q12$h ><X cCU&>8 c:3%?\]`\ab c8 c $h ><XM A \ 3M?BUVYUZ[\ r )rdictreturnr)rr?i) rrFrrFrrFrintrr)r.rr/rrr)NN) r3rr.rrIz dict | Noner<z Path | Nonerztuple[int, str])r)rQrrRrrNone)rXrrYrFrrF) __doc__ __future__rr(r@rDrpathlibrr*r rr4rMrTrZrirorrrzr|r~rrrrrrrrrrrr rrs"$L#   DE       ,%V" ****  *  *8V1BNB_8VB@>CB>4CB!JRG:D:I:H:MD"N^F\r