(<d?d7d8gd7d6gd9d@dAZ8eee fe6dB<dCd8d7gd6d7gd9dDdAZ9eee fe6dE<dFgdGZ:eee fe6dH<dIdJdKgdGZ;eee fe6dL<dMe7dNdOid?e8dPdQdRgdSZGdYdZZ?Gd[d\Z@Gd]d^ZAGd_d`ZBGdadbZCy)cuTests for output-review.py and output_review_helpers.py — TDD RED phase. 헬퍼 모듈(output_review_helpers)과 메인 스크립트(output-review)에 대한 테스트. 아직 구현이 없으므로 ImportError 또는 AttributeError로 실패하는 것이 정상(RED 단계). N)datetimetimezone)Path)Any) MagicMockpatchzoutput_review_helpers.pyoutput_review_helperszoutput-review.py output_reviewtmp_pathreturnc|dz dz dz }|jd|dz dz dz }|jd|dz dz dz }|j|dz d z }|jd||||d S) u(테스트용 디렉토리 구조 생성.memoryskill-learning championsT)parentszchampions-archivelearnings.jsonlskillsshared) champions_dir archive_dirlearnings_path skills_shared)mkdirtouch)r rrrrs Q/home/jay/workspace/.worktrees/task-2057-dev2/scripts/tests/test_output_review.py_make_tmp_dirsr.sx'*::[HM%X%(88;NNKd#(+;;>OONx'(2M%&"(&  rdatac\|dz }|jtj|d|S)ueval-axes.json 파일 생성.zeval-axes.jsonutf-8encoding) write_textjsondumps)rrpaths r_make_eval_axes_jsonr'@s+ + +DOODJJt$wO7 Krc<eZdZddZddZddZddZddZddZy) TestBuildChampionDataNcntjdddddg}gd}|D]}||vrJd|d y ) uBchampion 데이터에 필수 필드가 모두 존재해야 한다.satori-cardnewsbusinesszsample output text 훅 강도시각 밸런스 skill_name skill_typechampion_outputeval_axes_used) r0r1r2r3 created_at last_usedstatusconsecutive_defensesconsecutive_lossesreinit_count_this_monthmonth_reset_date init_methodbenchmark_sourceu필드 'u' 누락Norhbuild_champion_data)selfrrequired_fieldsfields r(test_build_champion_data_required_fieldsz>TestBuildChampionData.test_build_champion_data_required_fieldsMs[&&(!0(*<= '   % =ED= r? isinstancestrlistintr@rs r$test_build_champion_data_field_typesz:TestBuildChampionData.test_build_champion_data_field_typesgs>&&(!$(> '  $|,c222$|,c222$013777$/0$777$|,c222${+S111$x.#...$56<<<$34c:::$893???$12C888$}-s333$12C888rctjdddg}|ddk(sJ|ddk(sJ|d dk(sJ|d dk(sJ|d d k(sJ|d dk(sJy)u8초기값이 스키마 기본값과 일치해야 한다. test-skillcreativerEr/r6activer7rr8r9r;full_benchmarkr< online_expertNr=rJs r'test_build_champion_data_default_valuesz=TestBuildChampionData.test_build_champion_data_default_values}s&&#!$ '  H~)))*+q000()Q...-.!333M"&6666&'?:::rcdtjddddgdd}|ddk(sJ|d dk(sJy ) uIinit_method 및 benchmark_source 커스텀 값이 적용되어야 한다.rM analyticalrEaccuracymanual internal_team)r0r1r2r3r;r<r;r<Nr=rJs r+test_build_champion_data_custom_init_methodzATestBuildChampionData.test_build_champion_data_custom_init_methodsT&&##$&< , ' M"h...&'?:::rcJtjdddg}|ddk(sJy)u/skill_name이 정확히 보존되어야 한다.zmy-special-skillr,rEr/r0Nr=rJs r-test_build_champion_data_skill_name_preservedzCTestBuildChampionData.test_build_champion_data_skill_name_preserveds9&&)!$ '  L!%7777rcRgd}tjddd|}|d|k(sJy)u=eval_axes_used 리스트가 그대로 저장되어야 한다.r-r. 정보 밀도rMr,rEr/r3Nr=)r@axesrs r,test_build_champion_data_eval_axes_preservedzBTestBuildChampionData.test_build_champion_data_eval_axes_preserveds>B&&#!$ '  $%---rr N) __name__ __module__ __qualname__rCrKrRrXrZr_rrr)r)Ls =49, ; ;8 .rr)ceZdZdedej ddfdZdedej ddfdZdedej ddfdZy)TestSaveAndLoadChampionr monkeypatchr Nc0t||jdt|tj ddddg}tj d|tj d}|J|d|dk(sJ|d |d k(sJ|d |d k(sJy) uF저장 후 로드하면 동일한 데이터가 반환되어야 한다.WORKSPACE_ROOTr+r,z test outputr-r/Nr0r2r3)rsetenvrGr>r? save_champion load_champion)r@r rg champion_dataloadeds r%test_save_and_load_champion_roundtripz=TestSaveAndLoadChampion.test_save_and_load_champion_roundtripsx +S];//(!)(> 0 +];""#45!!!l#}\'BBBB'(M:K,LLLL&'=9I+JJJJrct||jdt|tj dddg}tj d|}t |tsJ|jsJ|jdk(sJy)u@save_champion은 저장된 파일 경로를 반환해야 한다.rirMr,rEr/ztest-skill.jsonN) rrjrGr>r?rkrFrexistsname)r@r rgr result_paths rtest_save_champion_returns_pathz7TestSaveAndLoadChampion.test_save_champion_returns_pathsx +S];&&#!$ '  '' d; +t,,,!!####4444rct||jdt|tj ddddg}tj d|}|j d}tj|}|d dk(sJy ) u3저장된 파일이 유효한 JSON이어야 한다.riz json-testr,rEaxis1r/r r!r0N) rrjrGr>r?rk read_textr$loads)r@r rgr saved_pathrawparseds r%test_save_champion_creates_valid_jsonz=TestSaveAndLoadChampion.test_save_champion_creates_valid_jsonsx +S];&&"!$#9 '  &&{D9 ""G"4Cl#{222r) rarbrcrpytest MonkeyPatchrortr|rdrrrfrfskKdKQWQcQcKhlK&556K]K]5bf5"3d3QWQcQc3hl3rrfc\eZdZdedej ddfdZdedej ddfdZy)TestLoadChampionNotExistsr rgr Nct||jdt|tj d}|Jy)uB존재하지 않는 스킬 로드 시 None을 반환해야 한다.rinonexistent-skillNrrjrGr>rlr@r rgresults r,test_load_champion_returns_none_when_missingzFTestLoadChampionNotExists.test_load_champion_returns_none_when_missings:x +S];""#67~~rct||jdt|tj d}|Jy)uN존재하지 않는 스킬 로드 시 예외가 발생하지 않아야 한다.rizmissing-skill-xyzNrrs r!test_load_champion_does_not_raisez;TestLoadChampionNotExists.test_load_champion_does_not_raises<x +S];""#67~~r)rarbrcrr}r~rrrdrrrrsETX^XjXjos$VM_M_dhrrceZdZdedej ddfdZdedej ddfdZdedej ddfdZy)TestArchiveChampionr rgr Nct|}|jdt|tj ddddg}tj d|tj d}|J|jsJ|d|jvst|dt|vsJ|jd k(sJy) u[기존 챔피언을 아카이브하면 타임스탬프 파일명으로 이동해야 한다.riz archive-testr,z old outputrvr/Nrz.json) rrjrGr>r?rkarchive_championrqrsuffix)r@r rgdirsrm archived_paths r test_archive_champion_moves_filez4TestArchiveChampion.test_archive_champion_moves_filesh'+S];//%!(#9 0 .-8,,^< (((##%%%M"m&;&;;s4 CV?W[^_l[m?mmm##w...rc0t||jdt|tj dddg}tj d|tj d}|J|j}td|Ds Jd|y) uD아카이브 파일명에 타임스탬프가 포함되어야 한다.rizts-testr,rEr/Nc3<K|]}|jywN)isdigit).0chs r zSTestArchiveChampion.test_archive_champion_filename_has_timestamp..0s/B2::</su타임스탬프 없음: ) rrjrGr>r?rkrstemany)r@r rgrrrs r,test_archive_champion_filename_has_timestampz@TestArchiveChampion.test_archive_champion_filename_has_timestampsx +S];&& !$ '  )T*,,Y7 (((!!/$//R3KD61RR/rc0t|}|jdt|tj dddg}tj d||ddz }|j sJtjd|j rJy) uP아카이브 후 원본 champions/{skill}.json이 존재하지 않아야 한다.riz remove-testr,rEr/rzremove-test.jsonN)rrjrGr>r?rkrqr)r@r rgrroriginals r&test_archive_champion_original_removedz:TestArchiveChampion.test_archive_champion_original_removed2sh'+S];&&$!$ '  -.(+==    ]+??$$$$r) rarbrcrr}r~rrrrdrrrrsk//FL^L^/cg/.STSX^XjXjSosS&%t%RXRdRd%im%rrc\eZdZdedej ddfdZdedej ddfdZy)TestArchiveChampionNoExistingr rgr Nct||jdt|tj d}|Jy)uC아카이브할 챔피언이 없으면 None을 반환해야 한다.rizdoes-not-existNrrjrGr>rrs r.test_archive_nonexistent_champion_returns_nonezLTestArchiveChampionNoExisting.test_archive_nonexistent_champion_returns_noneKs:x +S];%%&67~~rct||jdt|tj d}|Jy)uO아카이브할 챔피언이 없어도 예외가 발생하지 않아야 한다.riz ghost-skillNrrs r'test_archive_nonexistent_does_not_raisezETestArchiveChampionNoExisting.test_archive_nonexistent_does_not_raiseSs;x +S];%%m4~~r)rarbrcrr}r~rrrdrrrrJsFtZ`ZlZlquSYSeSejnrrceZdZdedej ddfdZdedej ddfdZdedej ddfdZdedej ddfdZ y) TestAppendLearningr rgr Nct||jdt||dz dz dz }t|j dj }ddd t jtjjd }tj|t|j dj }||d zk(sJy ) uLappend_learning 호출 시 learnings.jsonl 줄 수가 1 증가해야 한다.rirrrr r!rMAu더 나은 훅)r0winnerreason timestampN) rrjrGlenrw splitlinesrnowrutc isoformatr>append_learning)r@r rgr initial_linesentry new_liness r)test_append_learning_increases_line_countzrrwstriprr$rx)r@r rgrr last_liner{s r$test_append_learning_valid_json_linez7TestAppendLearning.test_append_learning_valid_json_linevsx +S];+i$O E"!H,/??BSS",,g,>DDFQQSTVW I&l#|333rcbt||jdt|tdD]}tj |d|d|dz dz dz }|j d jDcgc]}|js|}}t|dk(sJy cc}w) u;여러 번 append 시 각각 줄로 저장되어야 한다.rizskill-)indexr0rrrr r!N) rrjrGranger>rrwrrr)r@r rgirlliness r%test_append_learning_multiple_entriesz8TestAppendLearning.test_append_learning_multiple_entriessx +S];q JA   !VA3< H I J"H,/??BSS*44g4FQQSaqWXW^W^W`aa5zQbs ?B,B,ct||jdt||dz dz dz }|jt j ddidzd t jd di|jd jDcgc]}|js|}}t|d k(sJt j|d ddk(sJy cc}w)uPappend_learning은 기존 내용을 덮어쓰지 않아야 한다 (append-only).rirrrexistingr r r!newrN) rrjrGr#r$r%r>rrwrrrrx)r@r rgrrrs r'test_append_learning_does_not_overwritez:TestAppendLearning.test_append_learning_does_not_overwritesx +S];!H,/??BSS!!$**j'-B"Cd"JU\!] UG,-*44g4FQQSaqWXW^W^W`aa5zQzz%(#J/7:::bs C#,C#) rarbrcrr}r~rrrrrdrrrrbs.$.U[UgUg.lp.& 4T 4PVPbPb 4gk 4 d QWQcQc hl  ; ;SYSeSe ;jn ;rrc\eZdZdedej ddfdZdedej ddfdZy)TestLoadEvalAxesr rgr Nct|}|jdt|t|dgddgdtj d}t |tsJ|gdk(sJy)uReval-axes.json에서 해당 스킬의 평가 축 리스트를 반환해야 한다.rirr\rU)r+z other-skillr+N)rrjrGr'r>load_eval_axesrFrH)r@r rgrr^s r test_load_eval_axes_returns_listz1TestLoadEvalAxes.test_load_eval_axes_returns_listsph'+S];  !#V *|  !!"34$%%%JJJJrct|}|jdt|t|dddgdgdtj d}tj d}|ddgk(sJ|dgk(sJy ) u6다른 스킬의 축과 혼동되지 않아야 한다.rirzaxis-a1zaxis-a2zaxis-b1)skill-askill-brrNrrjrGr'r>r)r@r rgraxes_aaxes_bs r!test_load_eval_axes_correct_skillz2TestLoadEvalAxes.test_load_eval_axes_correct_skillsh'+S];  !%y1%;  ##I.##I.)Y////)$$$r)rarbrcrr}r~rrrdrrrrsHKKFL^L^KcgK"%$%VM_M_%dh%rrc\eZdZdedej ddfdZdedej ddfdZy)TestLoadEvalAxesMissingSkillr rgr Nct|}|jdt|t|dddgitj d}|gk(sJy)uHeval-axes.json에 없는 스킬은 빈 리스트를 반환해야 한다.rirzexisting-skillrvrNr)r@r rgrrs r%test_missing_skill_returns_empty_listzBTestLoadEvalAxesMissingSkill.test_missing_skill_returns_empty_listsZh'+S];  ! y ) ##$78||rct||jdt|tj d}|gk(sJy)uOeval-axes.json 파일 자체가 없어도 빈 리스트를 반환해야 한다.riz any-skillN)rrjrGr>rrs r.test_missing_eval_axes_file_returns_empty_listzKTestLoadEvalAxesMissingSkill.test_missing_eval_axes_file_returns_empty_lists=x +S];##K0||r)rarbrcrr}r~rrrdrrrrsF d QWQcQc hl tZ`ZlZlqurrc$eZdZddZddZddZy)TestRecordDefenseNcNdddd}tj|}|ddk(sJy)u@방어 기록 시 consecutive_defenses가 1 증가해야 한다.rrrOr7r8r6r7rNr>record_defenser@championupdateds r3test_record_defense_increments_consecutive_defenseszETestRecordDefense.test_record_defense_increments_consecutive_defensess:%&"#$  $$X.-.!333rcNdddd}tj|}|ddk(sJy)uG방어 기록 시 consecutive_losses가 0으로 리셋되어야 한다.rrrOrr8Nrrs r-test_record_defense_resets_consecutive_lossesz?TestRecordDefense.test_record_defense_resets_consecutive_lossess:%&"#$  $$X.+,111rcbdddd}tj|}|ddk(sJ|ddk(sJy)urecord_defense는 원본 dict를 변경하거나 변경된 복사본을 반환해도 무방하지만 반환값이 올바른 상태여야 한다.rrOrr7rr8Nrrs r,test_record_defense_does_not_modify_originalz>TestRecordDefense.test_record_defense_does_not_modify_originalsN%&"#$  $$X.-.!333+,111rr`)rarbrcrrrrdrrrrs42 2rrc$eZdZddZddZddZy)TestRecordLossNcNdddd}tj|}|ddk(sJy)u>패배 기록 시 consecutive_losses가 1 증가해야 한다.rrrOrr8rNr> record_lossrs r.test_record_loss_increments_consecutive_lossesz=TestRecordLoss.test_record_loss_increments_consecutive_lossess8%&"#$  //(++,111rcNdddd}tj|}|ddk(sJy)uI패배 기록 시 consecutive_defenses가 0으로 리셋되어야 한다.rrOrr7Nrrs r,test_record_loss_resets_consecutive_defensesz;TestRecordLoss.test_record_loss_resets_consecutive_defensess8%&"#$  //(+-.!333rcbdddd}tj|}|ddk(sJ|ddk(sJy)uF0에서 패배 기록 시 consecutive_losses가 1이 되어야 한다.rrOrr8rr7Nrrs rtest_record_loss_from_zeroz)TestRecordLoss.test_record_loss_from_zero'sL%&"#$  //(++,111-.!333rr`)rarbrcrrrrdrrrrs24 4rrc$eZdZddZddZddZy)TestStatusStableNcdddtjtjj dd}t j |}|ddk(sJy)u:5연속 방어 시 status가 'stable'이 되어야 한다.rrrOr7r8r9r5r6r6stableNrrrrrr>update_champion_statusrs r-test_five_consecutive_defenses_becomes_stablez>TestStatusStable.test_five_consecutive_defenses_becomes_stable9U%&"#'(!hll3==? $ ,,X6x H,,,rcdddtjtjj dd}t j |}|ddk(sJy)u35 초과 연속 방어도 'stable'이어야 한다. rrOrr6rNrrs r&test_more_than_five_defenses_is_stablez7TestStatusStable.test_more_than_five_defenses_is_stableEsU%'"#'(!hll3==? $ ,,X6x H,,,rcdddtjtjj dd}t j |}|ddk7sJy)u24연속 방어는 'stable'이 아니어야 한다.rrOrr6rNrrs r)test_four_consecutive_defenses_not_stablez:TestStatusStable.test_four_consecutive_defenses_not_stableQrrr`)rarbrcrrrrdrrrr8s - - -rrc$eZdZddZddZddZy)TestStatusUnstableNcdddtjtjj dd}t j |}|ddk(sJy)u<3연속 패배 시 status가 'unstable'이 되어야 한다.rrrOrr6unstableNrrs r.test_three_consecutive_losses_becomes_unstablezATestStatusUnstable.test_three_consecutive_losses_becomes_unstabledU%&"#'(!hll3==? $ ,,X6x J...rcdddtjtjj dd}t j |}|ddk(sJy)u53 초과 연속 패배도 'unstable'이어야 한다.rrrOrr6r Nrrs r'test_more_than_three_losses_is_unstablez:TestStatusUnstable.test_more_than_three_losses_is_unstablepr rcdddtjtjj dd}t j |}|ddk7sJy)u42연속 패배는 'unstable'이 아니어야 한다.rrrOrr6r Nrrs r(test_two_consecutive_losses_not_unstablez;TestStatusUnstable.test_two_consecutive_losses_not_unstable|r rr`)rarbrcr rrrdrrrrcs / / /rrc$eZdZddZddZddZy)TestStatusManualInterventionNcdddtjtjj dd}t j |}|ddk(sJy)uTreinit_count_this_month >= 2 시 'manual_intervention_required'가 되어야 한다.rrrOrr6manual_intervention_requiredNrrs r1test_reinit_count_two_becomes_manual_interventionzNTestStatusManualIntervention.test_reinit_count_two_becomes_manual_interventionV%&"#'(!hll3==? $ ,,X6x $BBBBrcdddtjtjj dd}t j |}|ddk(sJy)uLreinit_count_this_month >= 3도 'manual_intervention_required'여야 한다.rrrOrr6rNrrs r3test_reinit_count_three_becomes_manual_interventionzPTestStatusManualIntervention.test_reinit_count_three_becomes_manual_interventionrrcdddtjtjj dd}t j |}|ddk7sJy)uVreinit_count_this_month == 1은 'manual_intervention_required'가 아니어야 한다.rrrOrr6rNrrs r-test_reinit_count_one_not_manual_interventionzJTestStatusManualIntervention.test_reinit_count_one_not_manual_interventionrrr`)rarbrcrrrrdrrrrs C C Crrc$eZdZddZddZddZy)TestGracefulDegradationNc>tjddgd}|Jy)uSeval_axes가 빈 리스트일 때도 compare_outputs가 정상 동작해야 한다.u첫 번째 아웃풋입니다.u두 번째 아웃풋입니다.rMoutput_aoutput_b eval_axesr0Nr>compare_outputsr@rs r.test_compare_outputs_empty_axes_does_not_raisezFTestGracefulDegradation.test_compare_outputs_empty_axes_does_not_raises1$$55# %  !!!rcZtjddgd}t|tsJy)u>eval_axes 빈 리스트 시에도 dict를 반환해야 한다.output Aoutput BrMrNr>r#rFdictr$s r,test_compare_outputs_empty_axes_returns_dictzDTestGracefulDegradation.test_compare_outputs_empty_axes_returns_dicts5$$# %  &$'''rc@tjdddgd}|Jy)u@빈 문자열 아웃풋에도 예외 없이 동작해야 한다.rvrMrNr"r$s r)test_compare_outputs_empty_string_outputszATestGracefulDegradation.test_compare_outputs_empty_string_outputss3$$i# %  !!!rr`)rarbrcr%r+r.rdrrrrs"("rrcDeZdZd dZd dZd dZd dZd dZd dZd dZ y) TestCompareOutputsStructureNcFtjddddgd}d|vsJy) u2비교 결과에 'winner' 키가 있어야 한다.output A contentoutput B contentr-r.r+rrNr"r$s r#test_compare_outputs_has_winner_keyz?TestCompareOutputsStructure.test_compare_outputs_has_winner_keys9$$''#%78( %  6!!!rcDtjdddgd}d|vsJy)u2비교 결과에 'reason' 키가 있어야 한다.r'r(rvrMrrNr"r$s r#test_compare_outputs_has_reason_keyz?TestCompareOutputsStructure.test_compare_outputs_has_reason_key5$$i# %  6!!!rcDtjdddgd}d|vsJy)u2비교 결과에 'scores' 키가 있어야 한다.r'r(rvrMrscoresNr"r$s r#test_compare_outputs_has_scores_keyz?TestCompareOutputsStructure.test_compare_outputs_has_scores_keyr7rcJtjdddgd}|ddvsJy) *winner 값은 'A' 또는 'B'여야 한다.r'r(rvrMrrrBNr"r$s r%test_compare_outputs_winner_is_a_or_bzATestCompareOutputsStructure.test_compare_outputs_winner_is_a_or_bs:$$i# %  h:---rcdtjddddgd}t|dtsJy) uscores는 dict여야 한다.r2r3r-r.r+rr9Nr)r$s r#test_compare_outputs_scores_is_dictz?TestCompareOutputsStructure.test_compare_outputs_scores_is_dicts@$$''#%78( %  &*D111rctjdddgd}|d}t|tsJ|j D]+\}}t|t t tfr"Jd|dy ) uZscores 내 값이 유효한 형식이어야 한다 (list 또는 numeric, 또는 빈 dict).r'r(rvrMrr9zscores[u!]는 list 또는 숫자여야 함N)r>r#rFr*itemsrHrIfloat)r@rr9keyvals r,test_compare_outputs_scores_values_are_validzHTestCompareOutputsStructure.test_compare_outputs_scores_values_are_valids$$i# %  !&$'''  iHCcD#u#56 h'#Fg8h h6 ircbtjdddgd}t|dtsJy)u(reason 값이 문자열이어야 한다.r'r(rvrMrrN)r>r#rFrGr$s r%test_compare_outputs_reason_is_stringzATestCompareOutputsStructure.test_compare_outputs_reason_is_strings<$$i# %  &*C000rr`) rarbrcr4r6r:r?rArGrIrdrrr0r0s&""".2 i1rr0cXeZdZdedej ddfdZdej ddfdZy)TestGetWorkspaceRootr rgr Nc|jdt|tj}t |t sJ||k(sJy)u[WORKSPACE_ROOT 환경변수가 설정되어 있으면 해당 경로를 반환해야 한다.riN)rjrGr>get_workspace_rootrFr)r@r rgroots r test_get_workspace_root_from_envz5TestGetWorkspaceRoot.test_get_workspace_root_from_env/sC+S];%%'$%%%xrcv|jddtj}t|tsJy)u)반환값이 Path 타입이어야 한다.riF)raisingN)delenvr>rMrFr)r@rgrNs r)test_get_workspace_root_returns_path_typez>TestGetWorkspaceRoot.test_get_workspace_root_returns_path_type6s4+U;%%'$%%%r)rarbrcrr}r~rOrSrdrrrKrK.s=  FL^L^ cg &VEWEW&\`&rrKzoutput_review_ai.py content_textcLt}||_t}|g|_|S)z%Create a mock Anthropic API response.)rtextcontent)rT mock_content mock_responses r_mock_anthropic_responserZDs(;L$LKM)NM r1u:아웃풋 1이 훅 강도와 정보 밀도에서 우수함rrr)r-r]rrr9MOCK_COMPARISON_RESULTru7Output A가 훅 강도와 정보 밀도에서 우수함MOCK_COMPARISON_RESULT_ABTuKv2가 훅 강도와 정보 밀도에서 v1보다 높은 점수를 기록함)improved comparisonrMOCK_DELTA_RESULT_IMPROVEDFu:v2가 v1보다 낮은 점수를 기록하여 개선 실패MOCK_DELTA_RESULT_NOT_IMPROVEDpass)verdict suggestionsMOCK_CROSS_MODEL_PASSimprove훅을 더 강하게정보를 더 구체적으로MOCK_CROSS_MODEL_IMPROVEu$개선된 최종 챔피언 아웃풋 expert_textu전문가 아웃풋 예시 ab_comparisonbenchmark_resultimprovement_applied delta_resultu훅 강도 개선이 효과적u/정보 밀도 상향이 품질 향상에 기여r2 init_process learningsMOCK_INIT_ENHANCEMENT_RESULTc8eZdZdZddZddZddZddZddZy) TestCompareOutputsAIuJcompare_outputs_ai 함수의 구조 및 동작을 mock으로 검증한다.Nctjddti5ddl}t|j _|j ddddgd }d |vsJd |vsJd |vsJ dddy#1swYyxYw)uZcompare_outputs_ai가 winner, reason, scores 키를 포함한 dict를 반환해야 한다. sys.modulesoutput_review_airN첫 번째 아웃풋두 번째 아웃풋r-r]r+rrrr9rr*rryr^compare_outputs_ai return_valuer@orairs r1test_compare_outputs_ai_returns_correct_structurezFTestCompareOutputsAI.test_compare_outputs_ai_returns_correct_structures ZZ (:IK'H I & +3LD # # 0,,//'9, -Fv% %%v% %%v% %% & & &s AA..A7ctjddti5ddl}t|j _|j dddgd }|d d vsJ dddy#1swYyxYw) r<rxryrNr'r(r-rMrrr=r|rs r(test_compare_outputs_ai_winner_is_a_or_bz=TestCompareOutputsAI.test_compare_outputs_ai_winner_is_a_or_bsv ZZ (:IK'H I 2 +3LD # # 0,,##'.' -F(#z1 11 2 2 2s 9A$$A-ctjddti5ddl}t|j _|j ddddgd }|d }t|tsJ|jD]M\}}t|tsJt|tsJt|d k(sJtd |DrMJ dddy#1swYyxYw)uIscores는 평가 축별 [a_score, b_score] 리스트 구조여야 한다.rxryrNr'r(r-r]rMrr9rc3HK|]}t|ttfywr)rFrIrD)rss rrzYTestCompareOutputsAI.test_compare_outputs_ai_scores_structure_per_axis..sK1:a#u6Ks ") rr*rryr^r}r~rFrCrGrHrall)r@rrr9 axis_name score_pairs r1test_compare_outputs_ai_scores_structure_per_axiszFTestCompareOutputsAI.test_compare_outputs_ai_scores_structure_per_axiss ZZ (:IK'H I L +3LD # # 0,,##'9' -FH%Ffd+ ++)/ L% :!)S111!*d333:!+++K KKKK  L L L LsB$CCCcddid}tjddti5ddl}||j_|j dd gd }|Jd |vsJt |d tsJ dddy#1swYyxYw)uDeval_axes가 빈 리스트여도 graceful하게 동작해야 한다.ru+eval_axes 없이 전반적 품질로 판단r\rxryrNr'r(rMrrr9)rr*rryr}r~rF)r@empty_axes_resultrrs r0test_compare_outputs_ai_empty_eval_axes_gracefulzETestCompareOutputsAI.test_compare_outputs_ai_empty_eval_axes_gracefulsC-  ZZ (:IK'H I 6 +3DD # # 0,,##' -F% %%v% %%fX.5 55 6 6 6s A A;;Bc:t}td|j_t j dd|i5ddl}tjtd5|jdd d gd ddddddy#1swYxYw#1swYyxYw) uHANTHROPIC_API_KEY가 없을 때 EnvironmentError가 발생해야 한다.z1ANTHROPIC_API_KEY environment variable is not setrxryrNANTHROPIC_API_KEY)matchr'r(r-rMr) rEnvironmentErrorr} side_effectrr*ryr}raises)r@ mock_modulers r;test_compare_outputs_ai_no_api_key_raises_environment_errorzPTestCompareOutputsAI.test_compare_outputs_ai_no_api_key_raises_environment_errorsk 5E ?6 &&2ZZ (:K'H I  +/7JK ''''+n+ (       s# BB4BB BBr`) rarbrc__doc__rrrrrrdrrrvrvsT&$2 L,6.rrvc eZdZdZddZddZy) TestComparisonOrderRandomizationuAA/B 순서 랜덤화 및 winner 매핑 정확성을 검증한다.Nc`dddddgid}dddddgid}t}||g|j_tjd d |i5d d l}|jd ddgd}|jd ddgd}|d|dh}t |dk(sJd d d d y #1swYy xYw)ui여러 번 호출 시 A/B 순서가 섞이는지 확인한다 (mock으로 순서 변화 시뮬레이션).ruA가 더 나음r-rrr\r>uB가 더 나음rxryrNzoutput Xzoutput YrMrrru+랜덤화로 인해 winner가 달라야 함)rr}rrr*ryr)r@ result_a_wins result_b_winsrrresult1result2winnerss r'test_randomization_produces_mixed_orderzHTestComparisonOrderRandomization.test_randomization_produces_mixed_orders'#aV,) '#aV,)  k 6C]5S &&2 ZZ (:K'H I T +--##'.' .G --##'.' .Gx('(*;r[2rr9)rr}r~rr*ry)r@position_resultrrrs r9test_winner_correctly_mapped_to_original_ab_after_shufflezZTestComparisonOrderRandomization.test_winner_correctly_mapped_to_original_ab_after_shuffles0#aV,+   k 6E &&3 ZZ (:K'H I & +,,(('.' -F(#';; ;;v% %%v% %% & & &s 0A88Br`)rarbrcrrrrdrrrrsK$TL!&rrc8eZdZdZddZddZddZddZddZy) TestInitEnhancementuArun_init_enhancement 전체 플로우를 mock으로 검증한다.Nct}t|j_t j dd|i5ddl}|jddddgd d }|d }d |vsJd|vsJd|vsJ dddy#1swYyxYw)uconline_expert 모드: A/B 비교 → expert 벤치마크 → 개선 → delta 검증 → 챔피언.rxryrNrzr{r-r]r+rQrr r!r0benchmark_methodrrrmrnro)rrtrun_init_enhancementr~rr*ry)r@rrr init_procs r!test_online_expert_mode_full_flowz5TestInitEnhancement.test_online_expert_mode_full_flowFsk 8T ((5 ZZ (:K'H I 6 +..//'9,!0 /F~.I"i/ //%2 22(I5 55 6 6 6s 4A66A?c*dttdtddgd}t}||j_t jdd|i5dd l}|j d d d d gdd}|d}d|vsJ|d}d|vsJ d d d y #1swYy xYw)u`cross_model 모드: A/B 비교 → cross-model verify → 개선 → delta 검증 → 챔피언.u*cross-model 검증 후 개선된 챔피언Trlu&cross-model 검증으로 개선 확인rqrxryrNrzr{r-r]r+ cross_modelrrrrnrd) r^rjrarrr~rr*ry)r@cross_model_resultrrrr benchmarks rtest_cross_model_mode_full_flowz3TestInitEnhancement.test_cross_model_mode_full_flow\s L!:$<'+ :  CC .  k 8J ((5 ZZ (:K'H I * +..//'9,!. /F~.I%2 22!"45I ) )) * * *s 3B  Bc t}t|j_t j dd|i5ddl}|jdddgdd }d |vsJt|d tsJ dddy#1swYyxYw) u9반환 구조에 champion_output 키가 있어야 한다.rxryrNr'r(r-rMrQrr2) rrtrr~rr*ryrFrGr@rrrs r1test_run_init_enhancement_returns_champion_outputzETestInitEnhancement.test_run_init_enhancement_returns_champion_output}sk 8T ((5 ZZ (:K'H I > +..##'.'!0 /F%. ..f%67= == > > > 7A99Bc t}t|j_t j dd|i5ddl}|jdddgdd }d |vsJt|d t sJ dddy#1swYyxYw) u6반환 구조에 init_process 키가 있어야 한다.rxryrNr'r(r-rMrQrrr)rrtrr~rr*ryrFrs r.test_run_init_enhancement_returns_init_processzBTestInitEnhancement.test_run_init_enhancement_returns_init_processsk 8T ((5 ZZ (:K'H I < +..##'.'!0 /F"V+ ++f^4d; ;; < < &<&9rrc8eZdZdZddZddZddZddZddZy) TestDeltaVerifyuEdelta_verify 함수의 improved True/False 케이스를 검증한다.Nct}t|j_t j dd|i5ddl}|jddddgd }|d d usJ dddy#1swYyxYw) uBv2가 v1보다 나은 경우 improved=True를 반환해야 한다.rxryrN원본 아웃풋u개선된 아웃풋r-r]rMv1v2r!r0r_Trra delta_verifyr~rr*ryrs r1test_delta_verify_v2_better_returns_improved_truezATestDeltaVerify.test_delta_verify_v2_better_returns_improved_trues~k 0J   - ZZ (:K'H I . +&&%('9' 'F*%- -- . . . %A''A0ct}t|j_t j dd|i5ddl}|jddddgd }|d d usJ dddy#1swYyxYw) uUv2가 v1보다 못한 경우 improved=False를 반환하고 fallback이 필요하다.rxryrNu더 나은 원본 아웃풋u품질이 저하된 아웃풋r-r]rMrr_F)rrbrr~rr*ryrs r1test_delta_verify_v2_worse_returns_improved_falsezATestDeltaVerify.test_delta_verify_v2_worse_returns_improved_falses~k 0N   - ZZ (:K'H I / +&&02'9' 'F*%. .. / / /rct}t|j_t j dd|i5ddl}|jdddgd }d |vsJ dddy#1swYyxYw) u2반환 구조에 improved 키가 있어야 한다.rxryrNrrrvrMrr_rrs r&test_delta_verify_returns_improved_keyz6TestDeltaVerify.test_delta_verify_returns_improved_keysvk 0J   - ZZ (:K'H I ( +&&")' 'F' '' ( ( ( !A##A,ct}t|j_t j dd|i5ddl}|jdddgd }d |vsJt|d t sJ dddy#1swYyxYw) u4반환 구조에 comparison 키가 있어야 한다.rxryrNrrrvrMrr`)rrarr~rr*ryrFrs r(test_delta_verify_returns_comparison_keyz8TestDeltaVerify.test_delta_verify_returns_comparison_keysk 0J   - ZZ (:K'H I : +&&")' 'F 6) ))f\2D9 99 : : : 6A88Bct}t|j_t j dd|i5ddl}|jdddgd }d |vsJt|d tsJ dddy#1swYyxYw) u0반환 구조에 reason 키가 있어야 한다.rxryrNrrrvrMrr) rrarr~rr*ryrFrGrs r$test_delta_verify_returns_reason_keyz4TestDeltaVerify.test_delta_verify_returns_reason_keysk 0J   - ZZ (:K'H I 5 +&&")' 'Fv% %%fX.4 44 5 5 5rr`) rarbrcrrrrrrrdrrrrsO."/"(":$5rrc(eZdZdZddZddZddZy)TestGracefulDegradation_Phase2u:Phase 2 graceful degradation 시나리오를 검증한다.Nchdtdddddgd}t}d|j_||j_t j dd|i5d dl}|jd d }|J|j d ddgd d}|ddJ|dddusJ dddy#1swYyxYw)uVWebSearch 결과가 None일 때 A/B 선택본 그대로 챔피언이 되어야 한다.A/B 비교 winner 아웃풋NFrlu<expert 검색 실패로 A/B winner를 챔피언으로 지정rqrxryrrM some topicr0topicr'r(r-rQrrrrnror^rsearch_expert_outputr~rrr*ry)r@no_benchmark_resultrrexpertrs r5test_websearch_none_result_uses_ab_winner_as_championzTTestGracefulDegradation_Phase2.test_websearch_none_result_uses_ab_winner_as_champions =!:$(', $  YY /  k 8< ((58K ((5 ZZ (:K'H I J +..,l.[F> !>..##'.'!0 /F.)*<=E EE.)*?@EI II! J J Js A B((B1cdtdgddddddgd }t}td |j_||j _tjd d |i5d dl }tjt5|jddddd|j dddgdd}|dd}|J|jddk(sJ dddy#1swYLxYw#1swYyxYw)uNcross_model_verify가 예외 발생 시 self-review로 대체되어야 한다.uself-review fallback 챔피언rc self_review)rdrefallbackFNrlu8cross_model_verify 오류로 self-review fallback 적용rqzCross model verification failedrxryrz some outputrMrEr0r'r(r-rrrrrnr) r^r RuntimeErrorcross_model_verifyrrr~rr*ryr}rget)r@fallback_resultrrrrs r;test_cross_model_verify_exception_falls_back_to_self_reviewzZTestGracefulDegradation_Phase2.test_cross_model_verify_exception_falls_back_to_self_reviewCs$ @!:06rWd$e', $  UU +  k 5ABc5d &&28G ((5 ZZ (:K'H I > +|, W''}'V W..##'.'!. /F~./ABI( ((==, = ==# > > W W  > >s%"C+CAC+C( $C++C4c^dtddiddddgd}t}d|j_||j_t j d d |i5d dl}|jd d }|dk(sJ|j dddgd d}|dddusJ dddy#1swYyxYw)ucexpert 검색 결과가 빈 문자열일 때 A/B 선택본 그대로 챔피언이 되어야 한다.rrkr-FNrluBexpert 결과가 비어있어 A/B winner를 챔피언으로 지정rqrxryrrMrrr'r(r-rQrrrror)r@no_improvement_resultrrrrs r3test_expert_empty_string_uses_ab_winner_as_championzRTestGracefulDegradation_Phase2.test_expert_empty_string_uses_ab_winner_as_championis =!:%2B$7', $  __ 1  k 8: ((58M ((5 ZZ (:K'H I J +..,l.[FR< <..##'.'!0 /F.)*?@EI II J J Js AB##B,r`)rarbrcrrrrrdrrrrsD"JH$>LJrrc8eZdZdZddZddZddZddZddZy) TestCrossModelVerifyu;cross_model_verify 스텁의 반환 구조를 검증한다.Nct}t|j_t j dd|i5ddl}|jdd}d|vsJ dddy#1swYyxYw) u1반환 구조에 verdict 키가 있어야 한다.rxryrN테스트 아웃풋 텍스트rMrrdrrfrr~rr*ryrs r+test_cross_model_verify_returns_verdict_keyz@TestCrossModelVerify.test_cross_model_verify_returns_verdict_keysnk 6K &&3 ZZ (:K'H I ' +,,6'-F & && ' ' 's A  A)ct}t|j_t j dd|i5ddl}|jdd}d|vsJt|dtsJ dddy#1swYyxYw) u5반환 구조에 suggestions 키가 있어야 한다.rxryrNrrMrre) rrfrr~rr*ryrFrHrs r/test_cross_model_verify_returns_suggestions_keyzDTestCrossModelVerify.test_cross_model_verify_returns_suggestions_keysk 6K &&3 ZZ (:K'H I ; +,,6'-F !F* **f]3T: :: ; ; ;s 3A55A>ct}t|j_t j dd|i5ddl}|jdd}|dd vsJ dddy#1swYyxYw) u4verdict 값은 'pass' 또는 'improve'여야 한다.rxryrNrrMrrd)rcrgrrs r2test_cross_model_verify_verdict_is_pass_or_improvezGTestCrossModelVerify.test_cross_model_verify_verdict_is_pass_or_improvestk 6K &&3 ZZ (:K'H I < +,,6'-F )$(;; ;; < < TestCrossModelVerify.test_cross_model_verify_stub_returns_passssk 6K &&3 ZZ (:K'H I / +,,/'-F )$. .. / / / "A$$A-ct}t|j_t j dd|i5ddl}|jdd}|dgk(sJ dddy#1swYyxYw) u?'pass' 결과는 빈 suggestions 리스트를 가져야 한다.rxryrNu테스트 아웃풋rMrrerrs r2test_cross_model_verify_pass_has_empty_suggestionszGTestCrossModelVerify.test_cross_model_verify_pass_has_empty_suggestionsssk 6K &&3 ZZ (:K'H I / +,,,'-F -(B. .. / / /rr`) rarbrcrrrrrrrdrrrrsE '; < / /rrc0eZdZdZddZddZddZddZy)TestGenerateImprovedOutputu:generate_improved_output 함수의 동작을 검증한다.Ncd}t}||j_tjdd|i5ddl}|j|gddg}||k(sJ dddy#1swYyxYw) uEsuggestions가 비어있을 때 원본 출력을 반환해야 한다.u원본 아웃풋 텍스트rxryrNrMr-rrer0r!)rgenerate_improved_outputr~rr*ry)r@ original_textrrrs r'test_empty_suggestions_returns_originalzBTestGenerateImprovedOutput.test_empty_suggestions_returns_originals{4 k ]* ** + + +s ?A??Bct}d|j_tjdd|i5ddl}|jddgdd g }t |tsJ dddy#1swYyxYw) uDgenerate_improved_output은 항상 문자열을 반환해야 한다.u개선된 문자열rxryrNu원본u 개선 제안rMrvr)rrr~rr*ryrFrGrs r,test_generate_improved_output_returns_stringzGTestGenerateImprovedOutput.test_generate_improved_output_returns_strings{k modules exec_module _MAIN_PATH _main_specormr*rGrrHr'r)rfrrrrrrrrrrrrr0rK_AI_MODULE_PATHrZr]__annotations__r^rarbrfrjrtrvrrrrrrrdrrrs  '* H~$$++ 99 667NP]^  ]%9%9%EEEnn%%m4'* #$  %. . ^^ 3 3OZ P *"3"3"???nn%%j1" O c"Td39o$Dd3i4HT`.`.P3333v0;%;%F09;9;B#%#%V:22N44L#-#-V#/#/V#C#CV""JH1H1` & &&!6639J!fQ*S#XG!fQ-4S>"#Q1a&A[.DcN"#Q1a&AJ2S#X)tCH~ *,KL,$sCx. >2*,HI#2  34ef 0d38n "aaRJ&J&dq9q9rX5X5@kJkJfM/M/jO.O.r