it $dZddlmZddlZddlZddlZddlmZmZddlm Z ddl Z e e jjdZedz Zeeej"vr"ej"j%deeddlZddlZe j.d9dZe j.d9d Ze j.d Ze e j6j6d z d z d z Ze j:j=dgd d:dZd;dZ e j:j=dgd ddZ#e j:j=ddddidfd d!d"idfd#ddid$fd%ddid&fd'ddd(dfg d?d)Z$d*Z%d@d+Z&d@d,Z'd-Z(d.Z)d/Z*d0Z+d1Z,d2Z-d3Z.d4Z/d5Z0d6Z1d7Z2d8Z3y)AuX test_lifecycle_penetration.py — task-2469 Phase D Penetration Tests 회장 명시: "기능 추가가 아니라 우회 불가능성 증명. 자동화된 방어 검증 체계를 남겨라." 각 시나리오는: - 공격 의도 (docstring) - 공격 input 박제 (fixture) - Guard 호출 - assert r.ok is False (또는 high>=1) - memory/orchestration-audit/penetration-test-2469.jsonl append 모든 6+ 시나리오 통과 = 우회 시도 0건 성공 = task-2468 Guard 우회 불가능. Phase 2 (mandatory A-F): 토르 작성 (task-2469) Phase 3 (optional G-M): 헤임달 작성 (기존) ) annotationsN)datetimetimezone)Pathscriptsc0|dz }|j|S)Neventsmkdirtmp_pathds Y/home/jay/workspace/.worktrees/task-2514-dev3/tests/taskctl/test_lifecycle_penetration.py tmp_eventsr+s8AGGI Hc0|dz }|j|S)Nevidencer r s r tmp_evidencer2s:AGGI Hrc#LKg dfd }|tdz dz dz }|jjdd|jdd 5}D]+}|j t j |d d z- d d d y #1swYy xYww)uaudit jsonl emit. 테스트 종료 시 penetration-test-2469.jsonl에 append. 사용법: audit_emit(scenario, task_id, attack_intent, guard_called, attack_blocked, blocking_reasons) attack_blocked: 공격이 차단되었는가? (True = 차단 성공 = 정상) - Guard r.ok 기반 호출: `r.ok is False` 전달 (r.ok=False면 차단됨) - 직접 boolean: True = 차단됨, False = 우회 성공 (테스트 FAIL 조건) production admin-override.jsonl 변조 금지 — 전용 audit 파일에만 append. c j||||t||r t|ngtjt j jjjdy)N)scenariotask_id attack_intent guard_calledblockedblocking_reasonsts test_name) appendboollistrnowrutc isoformatnodename)rrrrattack_blockedrentriesrequests r_emitzaudit_emit.._emitGs^ $"!. ,/>ND)9$:TVll8<<0::<$\\..  rmemoryzorchestration-auditzpenetration-test-2469.jsonlT)parentsexist_okautf-8encodingF) ensure_ascii N) rstrrr5rr5rr5r(r!returnNone) _REPO_ROOTparentr openwritejsondumps)r*r+ audit_pathfentryr)s` @r audit_emitrA9sG          * Kh&)>>A^^JD48 w /B1 BE GGDJJu59D@ A BBBBsAB$1B B$B!B$fixtures task-2469gemini_reviews marker_name)zg3-failz g3-failedg3_fail g3_failedcd|}||d|z jtj|dgddtj||}|j dusJd |d |j t|jd kDsJd |j |d ||d|dd|j du|jy)u6공격 의도: G3 verifier가 fail marker를 박제했음에도 .done을 강제 발행하려 시도. 공격 방법: marker 이름을 4가지 변형으로 위장 (g3-fail / g3-failed / g3_fail / g3_failed). 기대 차단: lifecycle_guards.check_g3_fail_blocks_done — 4가지 변형 모두 인식. ztask-pentest-A-.pentest_attackr fail_reasonsr0r1 events_dirFu공격 우회 성공! marker=u4 — Guard가 fail marker를 인식하지 못함. r=ru!blocking 리스트 비어있음: zA-u&g3-fail marker 위장 시도 (variant=)check_g3_fail_blocks_doneN) write_textr<r=lgrPokas_dictlenblocking)rrErArrs r6test_A_done_gfail_concurrent_block_all_marker_variantsrXps }-GWIQ{m,,88 w9I8JKL9 $$WDA 445= ' }5 YY[M = qzz?Q Q"CAIIK= QQ  [M 0 Q?#   rcd}||dz jtj|ddd||dz jtj|dgd dtj|| }|j d usJd |j d |jjvs"d|jvsJd|j|d|dd|j d u|jy)u공격 의도: .done 파일을 직접 작성한 뒤 .g3-fail이 동시 존재. 공격 방법: 두 파일을 동시에 배치하여 conflict 상태 강제. 기대 차단: check_done_fail_conflict — done+fail 동시 = CONFLICT → ok=False. ztask-pentest-A2z.donez 2026-05-06)rrr0r1z.g3-failforced_by_attackerrKrMFuO공격 우회 성공! .done + .g3-fail 동시 존재가 차단되지 않음. r=conflictu동시u,reason에 conflict/동시 키워드 없음: A2u5.done 직접 쓰기 + .g3-fail 동시 존재 conflictcheck_done_fail_conflictN) rQr<r=rRr]rSrTreasonlowerrV)rrArrWs r#test_A2_done_force_write_with_gfailr`s  GWIU##// wl;=min_high 검출. 각 fixture file에 해당 패턴이 충분히(min_high 이상) 포함되어야 함. uFixture 파일 없음: r0r1highu공격 우회 성공! u → high=z < u1 (Guard가 패턴을 인식하지 못함). hits: high_hitsBz5pattern group high hiding: count_severitieshigh=z min_required=N) _FIXTURES_DIRexists read_textgsprgget) fixture_namemin_highrA fixture_pathbodysvs r)test_B_gemini_high_hidden_5pattern_groupsrss$!</L    J$;L>"JJ  ! !7 ! 3D  d #B f: ! jF CzR;;=66+r;R:S U !  &|n5 6 h F xj9: rzfake_approver,expected_block))z random-botT)attackerT)ztaskctl-gate-fakeT)zanu-verifier-2T) JonghyukJeonTcD|} |dz }|jtjddddddgdgdd tj|| }|j d usJd |d |j |ddd|d|j d u|jy)Nzallowed_approvers.json taskctl-gatesystem)logintypez anu-verifierru approvers manual_loginsr0r1allowlist_pathFuE공격 우회 성공! approver spoofing 차단 실패: fake_approver=. r=Cz approver-testzapprover spoofing: check_approver_identity)rQr<r=rRrrSrTrV)r fake_approverexpected_blockrA_cfgrWs rtest_C_approver_spoofingrs A - -CNN -h?,h?#1!1     ""=EA 445= OP]O`a YY[M =  m_-!   rz9scenario,fake_sha,fake_base,origin_returns,expected_block)) empty_shamainabc123T)null_shaNrrT) sha_mismatchrr DIFFERENT_SHAT)non_main_base_mismatchrdevelop WRONG_SHATc h|}fd}fd} |jtd||jtd| tjdd} | jdus!Jd |d d d | j |d |d|dd dd| jdu| j y)uR공격 의도: 실제 머지된 commit과 다른 SHA로 done 발행하여 SHA 검증 우회. 공격 방법: empty SHA / null SHA / mismatch SHA / non-main base mismatch. 기대 차단: check_merge_commit_sha — 4가지 케이스 모두 ok=False. monkeypatch로 외부 API 호출 mock — production gh api 호출 금지. cdidS)NT)merge_commit_shabase_refrSraw)_args_kwargs fake_basefake_shas r_mock_fetch_prz8test_D_merge_sha_mismatch_attack.._mock_fetch_pr"s (!   rc|k(rSdS)NBAD_SHAr)baserrorigin_returnss r_mock_fetch_originz._mock_fetch_origin*s!%!2~A Arfetch_pr_merge_shafetch_origin_head_sha!z dummy/repo)repoFu9공격 우회 성공! SHA 공격 차단 실패: scenario=z . fake_sha=z , origin=rDzmerge SHA attack: z (sha=rOcheck_merge_commit_shaN)setattrrRrrSrTrV) monkeypatchrrrrrrArrrrWs ``` r test_D_merge_sha_mismatch_attackr s. A B0.A35GH !!"<8A 445= CH:N productionFuB공격 우회 성공! audit 누락 bypass 차단 실패: scenario=z. env=z, audit_setup=rEzadmin override no audit: check_bypass_auditN) touchrQr<r=rmrRrrSrTrV) rrr audit_setuprAr>rrrWs rtest_E_admin_override_no_auditrAs$$22Jg  $ JJ5@5$        z*G&#-J    A 445= LXJWg^K?$qyy{m E=  #H:.   rc >ttjjdz dz dz dz }|js Jd||j d}t j |}|dd k\s Jd ||d d d d|dd k\d|ddgy)ux공격 의도: 보고서 메타/summary에 'PASS'/'high=0'이라 적었지만 본문에 High 키워드 산재. 공격 방법: tampered_report_pass_with_high.md — 메타는 PASS이나 본문에 High 패턴 다수. 기대 차단: count_severities 본문 재검증 → high>=1 검출. 이것이 task-2467+3 'silent corruption' 사고의 정확한 재현이다. rBrCrDz!tampered_report_pass_with_high.mduF1 fixture 없음: r0r1rduX공격 우회 성공! 본문 high 키워드 위장이 count_severities를 통과함. sv=F1zreport-body-tamperz@report metadata says PASS/high=0 but body contains High keywordsrgrhbody_high_detectedN)r__file__r9rjrkrlrg)rAfixturerqrrs r)test_F1_report_body_pass_but_high_in_bodyrs X$$       .  .  >> <27)<<    g  .D  d #B f:? bcebfg? J 6 a F 34 rc ||dz }|jd}||z }|j|dz jtjdddddd t j |d d| }|j d usJd|j|d|dd|j d u|jy)u공격 의도: 다른 task의 g3-pass.json을 현재 task에 재사용 (stale task_id). 공격 방법: evidence에 task_id="task-2467+3" (다른 task)를 심어 PASS 위장. 기대 차단: check_done_g3_pass_evidence — task_id 불일치 검출 → ok=False. rztask-pentest-F2 g3-pass.jsonz task-2467+3PASSr(abc123def456abc123def456abc123def456abc1rresult pr_numbershar0r1crhead_sha evidence_dirFuQ공격 우회 성공! stale task_id evidence 재사용이 차단되지 않음. r=F2u>stale task_id evidence reuse (task-2467+3 → task-pentest-F2)check_done_g3_pass_evidenceN r rQr<r=rRrrSrTrVrrAev_dirrtask_dirrWs rtest_F2_stale_task_id_evidencers  "F LLNGH NN ** ( A   +  &&;  A 445= [\]\e\e\g[hi= H%   rc ||dz }|jd}||z }|j|dz jtj|ddddd t j |dd | }|j d usJd |j|d|dd|j d u|jy)u 공격 의도: force-push 이후 이전 SHA의 PASS evidence를 재사용 (stale SHA). 공격 방법: evidence의 sha="DEADBEEF..." (old SHA)이나 실제 HEAD는 NEW_SHA. 기대 차단: check_done_g3_pass_evidence — sha 불일치 검출 → ok=False. rztask-pentest-F3rrr(DEADBEEF00000000000000000000000000000000rr0r1)NEW_SHA_AFTER_FORCE_PUSH_0000000000000000rFuM공격 우회 성공! stale SHA evidence 재사용이 차단되지 않음. r=F3uDstale SHA evidence reuse (force-push scenario: DEADBEEF → NEW_SHA)rNrrs rtest_F3_stale_sha_evidencers  "F LLNGH NN ** " A   +  &&<  A 445= WXYXaXaXcWde= N%   rc|dz }|jtjdgdgddtjd|}|j d usJ|d d d d |j d u|j y)uZ공격 의도: allowed_bot_accounts.json에 비허용 attacker-bot 추가. 공격 방법: fixture 임시 변조본을 만들어 allowlist_path로 주입. 기대 차단: check_bot_author_allowlist — production allowlist만 신뢰. 변조본도 attacker-bot이 추가되었지만, _match_bot_author 함수는 패턴 정확히 매칭. zallowed_bot_accounts.jsonzjeon-jonghyuk-taskctl-bot[bot]z[bot]exactwildcard_suffixr0r1zattacker-humanr~FGzbot-allowlist-testu비허용 author 차단 검증check_bot_author_allowlistNrQr<r=rRrrSrVrrArrWs r"test_G_allowed_bot_accounts_tamperrs 0 0CNN4::23#9 %%&6sKA 445==s(*J+QTTU]AJJHrc|dz }|jtjggddtjd|}|j dusJd|d d d d |j du|j y )u공격 의도: allowlist 파일을 빈 list로 변조하여 fail-open 유발 시도. 기대 차단: 빈 allowlist → fail-closed (모든 author 차단). zempty_allowlist.jsonrr0r1z any-bot[bot]r~Fu7빈 allowlist 시 fail-closed 안 됨 → 우회 성공G2zempty-allowlistu 빈 allowlist fail-closed 검증rNrrs r'test_G2_bot_allowlist_empty_fail_closedrsy + +CNN4::rBCgNV %%nSIA 445=SSS=t&(J+QTTU]AJJHrc|dz }|jtjggddtjd|}|j dusJ|dd d d |j du|j y ) u공격 의도: allowed_approvers.json을 빈 list로 변조. 기대 차단: 빈 list → fail-closed (모든 approver 차단). zempty_approvers.jsonr{r0r1zany-botr~FHzempty-approversu 빈 approvers fail-closed 검증rN)rQr<r=rRrrSrVrs r*test_H_allowed_approvers_empty_fail_closedrst + +CNN4::BDEPWNX ""9SAA 445==s%'I(!$$%-Erc|dz }tjd|}|jdusJ|dddd|jdu|jy ) ur공격 의도: allowed_approvers.json 파일 자체 삭제. 기대 차단: 파일 부재 → fail-closed. znonexistent.jsonrwr~FH2zmissing-approversu#approvers 파일 부재 fail-closedrN)rRrrSrVrs r&test_H2_allowed_approvers_missing_filersU ' 'C "">#FA 445==t(*O(!$$%-Erc|dz }tjdd||jddtjddd i| }|jd usJd |d ddd|jd u|j y)u공격 의도: admin-override.jsonl을 truncate하여 과거 audit 흔적 제거. 공격 방법: 1. 정상 audit 기록 2. 파일 truncate 3. 새 audit 기록 4. check_bypass_audit 호출 → 과거 task_id의 audit이 사라졌는지 검증. 기대 차단: check_bypass_audit는 현재 task_id 기준으로 검증. truncate 후 task_id entry 부재 → fail. rztask-pentest-I-historyz test reason)r>rr0r1rr)rr>Fu'truncate 후 audit 검증 우회 성공Iu#audit truncate (append-only 위반)rN)rRappend_admin_override_auditrQrrSrV)rrAr>rWs r&test_I_admin_override_overwrite_attackr-s22J""#;]Wab"w/ 6$4c#:*4 6A 445=CCC=s,.S#QTTU]AJJ@rc|dz }|j|dz }|j|dz dz }|jj|jtjddddd  |d z j |d }|rRtjdd d|}|jd usJd|dddd|jd u|jytjdy#t $rd }YwwxYw)uV공격 의도: events/ 외부에 evidence를 만들고 symlink로 우회. 공격 방법: g3-pass.json을 evidence_dir 외부 경로로 symlink → 경로 검증 우회 시도. 기대 차단: check_done_g3_pass_evidence는 evidence_dir// 안에서만 lookup. 외부 파일은 무시 → 결국 evidence 없음으로 fail. rztask-pentest-Joutsidezfake_pass.jsonrabcrrrr0r1rTFrrru4symlink + sha mismatch 차단 못함 = 우회 성공Jz"symlink evidence with sha mismatchrusymlink 권한 없음N) r r9rQr<r= symlink_toOSErrorrRrrSrVpytestskip)rrArrr symlink_okrWs rtest_J_symlink_evidence_outsiderFs  "F LLN((H NN"%55G NN tzz.>&Y^"_` ') N "..w7   * *+;r5D9? Attu}TTT}3(*N0!$$%- M  +,  s8C88 DDcn|dz }|j|dz }|j|dz jtjddddd t j dd d | }|j d usJd|j|dddd|j d u|jy )u}공격 의도: task_id에 '../'를 포함시켜 path traversal + sha 위조 시도. 시나리오: 외부 danger/ 디렉토리에 g3-pass.json을 만들어 evidence_dir/../danger/로 접근. task_id를 "../danger"로 설정해 경로 탈출을 시도하더라도, head_sha를 다르게 지정하면 sha mismatch로 차단. 기대 차단: sha 불일치 → ok=False. rdangerrz ../dangerrdanger_sha_999rr0r1N EXPECTED_SHArFuIpath traversal + sha mismatch 시 차단 실패 — guard returned PASS: J2z%task_id path traversal + sha mismatchr) r rQr<r=rRrrSr^rV)rrAr danger_dirrWs rtest_J2_path_traversal_task_idrhs  "F LLNH$J. ,,TZZ&9I9.- &&{d^5; =A 445= !z +=t["IKhttu}ajj*rc|dz }|j|dz dz }|jd|dz jdd tjd | }t |d k(sJd |dd ddddg|dz jdd tj d | }|j dusJ|dd dd|j du|jy)u공격 의도: .g3-fail 마커를 events/ 외부 (.git/, _temp/, dot-prefix dir)에 숨김. 기대 차단: find_g3_fail_markers는 events_dir만 스캔. 외부 박제는 무시되지만, 동시에 events_dir에 마커가 있을 때 그 마커를 차단함을 검증. r z.git fake_eventsT)r-ztask-pentest-K.g3-failz{}r0r1ztask-pentest-KrMruDhidden path 마커가 events_dir 검색에 포함됨 = 격리 실패Kzhidden path g3-fail isolationfind_g3_fail_markers isolation_okFK2uevents_dir 정상 마커 차단rPN)r rQrRr rUrPrSrV)rrA real_eventshiddenmarkersrWs r)test_K_hidden_path_g3_fail_outside_eventsrsX%K   .F LLL &&224'2J%%&6;OG w<1 ddd s$&E%tn-=?++77w7O $$%5+NA 445==t%'H*ADDEM1::Grctt}|jd}|j}|Dcgc]'}|j j drd|vr|)}}t |dk(s Jd|ycc}w)uR메타 테스트: 만약 신규 pentest를 xfail로 마스킹하면 회귀 감지. 이 테스트는 본인이 PASS 함으로써 xfail 마커가 silent 차단의 우회로 쓰이지 않음을 확인. 실제 의도: 본 파일 안에 @pytest.mark.xfail 데코레이터가 (주석 외) 사용되지 않았는지 정적 검사. r0r1@xfailru]test_lifecycle_penetration.py에서 @xfail 데코레이터 발견 — pentest 우회 시도: N)rrrk splitlinesstrip startswithrU) test_filerqlineslndecorator_liness r!test_L_xfail_abuse_detection_metarsXI     0D OO E$)Hb((*//4BHOH  1 $ g    $Hs,A=ctt}|jd}tjd|tj }t |dk\sJdt |dy)u메타: 본 파일에 정의된 test_ 함수가 13개 이상 (mandatory 6 + optional 7). pentest를 누락/삭제하면 회귀 감지. r0r1z^def (test_\w+) upentest 함수 수 = u < 13 (시나리오 누락)N)rrrkrefindall MULTILINErU)rrq test_funcss rtest_L2_pentest_count_metar$s^XI     0D.bllCJ z?b f$9#j/9JJe"ff rcH|dz }|j|dz }|j|dz jtjddddt j ddd| }|j d usJ|d dd d |j d u|jy)u공격 의도: g3-pass.json 파일은 있지만 result="FAIL". 기대 차단: check_done_g3_pass_evidence — result≠"PASS" 검출. rztask-pentest-MrFAIL)rrr0r1NrFMzg3-pass.json with result=FAILr)r rQr<r=rRrrSrVrrArrrWs r&test_M_report_pass_but_result_not_passr)s "F LLN((H NN **4::#v7,+ &&'74RV5; =A 445==s$&E,addemQZZIrc|dz }|j|dz }|j|dz jddtjddd|}|jd usJ|d dd d |jd u|j y) u공격 의도: g3-pass.json을 잘못된 JSON으로 작성하여 파싱 실패 우회 시도. 기대 차단: 파싱 실패 → fail-closed. rztask-pentest-M2rz{not valid json}r0r1NrFM2zcorrupt JSON g3-pass.jsonr)r rQrRrrSrVr(s r test_M2_report_pass_corrupt_jsonr,s "F LLN))H NN **+=*P &&'8DSW5; =A 445==t&(C,addemQZZIr)rrr6r)rrrEr5)rr)rnr5roint)rrrr5rr!)rr5rr5rr5rr!)rrrr5rdictrr5)rr)4__doc__ __future__rr<r sysrrpathlibrrrresolver-r8 _SCRIPTS_DIRr5pathinsertlifecycle_guardsrRgemini_severity_parserrlrrrrAr9rimark parametrizerXr`rsrrrrrrrrrrrrrrrr$r)r,rrrr;s"# ' (^ # # % - -a 0 I% |CHH$HHOOAs<()$    )B)B`X%%,,z9KGJZZ 4#& 8B !$ :" ""#&"8<" "P?(( (  (  ((\ -s3W= ;ZH'R $'7&=|L "2C!8(C CH'R  ..!.(,.;>. .h:%P%^H$ H E E@2-D*:G6(gI$ Ir