(/evals/backup-original.md Returns: 백업 파일 경로 (절대 경로 문자열) SKILL.mdevalsTparentsexist_okzbackup-original.md)rmkdirshutilcopy2strresolve)rr skill_path evals_dir backup_paths L/home/jay/workspace/.worktrees/task-2057-dev2/scripts/autoresearch/runner.pybackup_originalr#sr j!J.;JZ :-7I OOD4O022K LLZ#k"23 {""$ %%backup_content frontmattercft||z dz }|r d|d|}n|}|j|dy)u"SKILL.md를 원래 내용으로 복원 (frontmatter 보존). Args: skill_name: 스킬 이름 backup_content: 복원할 본문 (body) 텍스트 skills_dir: 스킬 디렉토리 경로 frontmatter: YAML 프론트매터 문자열 (--- 구분자 제외) r---  --- utf-8encodingNr write_text)rr%rr&rcontents r" restore_skillr0.sFj!J.;J+gn-=> 'G4r$ mutated_bodycft||z dz }|r d|d|}n|}|j|dy)u"변경된 본문으로 SKILL.md 업데이트 (frontmatter 보존). Args: skill_name: 스킬 이름 mutated_body: 변경된 마크다운 본문 skills_dir: 스킬 디렉토리 경로 frontmatter: YAML 프론트매터 문자열 (--- 구분자 제외) rr(r)r*r+Nr-)rr1rr&rr/s r"apply_mutationr3AsEj!J.;J+gl^<'G4r$ file_pathcddl}t|}|jstd||j d5}|j |}dddr|j dgng}|std||S#1swY1xYw)uUYAML 파일에서 테스트 입력 목록을 로드. Args: file_path: test-inputs.yaml 파일 경로 Returns: 입력 항목 리스트 (각 항목: {"id": ..., "text": ...}) Raises: FileNotFoundError: 파일이 존재하지 않을 경우 ValueError: inputs 리스트가 비어 있을 경우 rNu)테스트 입력 파일이 없습니다: r*r+inputsu)inputs 리스트가 비어 있습니다: )yamlrexistsFileNotFoundErroropen safe_loadget ValueError)r4_yamlpathfdatar6s r"load_test_inputsrBTs  ?D ;;="KI; WXX G $"q!">B488Hb#9rF DYKPQQ M""s BB  current_body checklistlog round_num prev_score model_mutate model_judge test_input test_inputsc ddl} | | } n| | g} n tdt|}| j|dd} t ||||}|d }|d }|d }t|jd d}t|jdd}t||||g}g}d}d}d}d}d}| D]!}ttttft|||}t|jdd} |t|jd xsdz }|t|jdxsdz } t|| | }!t!|!jdd}"|j#|"|j%|!jdg|t|!jd dz }|t|!jddz }$|r|||fS|rt)|t+|z nd}#t+| dkDr-dj-d|D}$t d|d|$d|#d|#|z }%|#|k\r d}&|}'|#}(d})nd}&|}'|}(d })t'|||||%dk\rd!|%dn|%d}*t d"|d#|d$|d%t d&|dd'|#dd(|*d)|)||z|z}+||z|z},t/d6id*|d+|d |d |d,|d-|#d.|d/|&d |+d|,d0|d1|d2|d3|d4|d5|}-|'|(|-fS#t $r }t d|d ||||fcYd}~Sd}~wwxYw#t $r-}t d|d|t'||||d}Yd}~nd}~wwxYw)7u단일 라운드 실행. Returns: (current_body_after_round, score, updated_log) 로직: 1. get_recent_changelog(log) → recent_changelog 2. generate_mutation(current_body, checklist_yaml_str, recent_changelog, model_mutate, api_key) 3. apply_mutation → 변경된 SKILL.md 저장 4. execute_skill → 스킬 실행 (각 입력으로) 5. judge_output → 채점 (각 입력에 대해) 6. 점수 비교 (멀티입력의 경우 평균 사용): - score >= prev_score → KEEP - score < prev_score → REVERT (원본 복원) 7. add_round → 로그에 추가 8. Return (body, score, log) rNCtest_input 또는 test_inputs 중 하나를 제공해야 합니다.TF) allow_unicodedefault_flow_style)current_skill_mdchecklist_yamlrecent_changelogmodelz [Round u,] mutation 생성 실패, 라운드 스킵: mutation_typemutation_descriptionmodified_skill_md input_tokens output_tokens skill_bodyrJrSoutputrD skill_outputrS total_scoreitemsu#] 채점 실패, 라운드 스킵: z, c3$K|]}|d yw).2fN).0ss r" zrun_round..s:a!Cz:su] 입력별 점수: [u] → 평균: rdkeptu✓ KEEPrevertedu ✗ REVERT+z[Round u ] 변경: z - ""u 점수: u → z (z) rErF score_before score_after items_detaildecisionmutation_input_tokensmutation_output_tokensexecution_input_tokensexecution_output_tokensjudge_input_tokensjudge_output_tokensre)r7r=r dumpr Exceptionprintintr<r3rdictrrrr floatappendextendr0sumlenjoinr).rrCr&rDrErFrGrrHrIrJrKr> inputs_listrRchecklist_yaml_strmutation_resultexcrTrUr1mut_input_tokensmut_output_tokensscoresrototal_exec_input_tokenstotal_exec_output_tokensrurv judge_failedinp exec_resultr^ judge_result inp_score new_score score_strsdeltarp result_body result_scoresymbol delta_strtotal_input_tokenstotal_output_tokens updated_logs. r" run_roundrrs{>!  !l ^__+C0ITV[\ -+)--  )9M /0F G'(; 3{~'F'K!#LL C (H(MA$NN  '#)!L %\%5%5mS%IJI MM) $    0 0" = > #l&6&6~q&I"J J  3|'7'7'K#L L /<Z,,5;s6{S[0I ;!YY:6::  )$9*^T]^aSbcd  "EJ"  " ! j, KH$)A:!E#;eC[I GI;jt|d?tLjNjQd@dAdBdCgdDEtGdFdGtGdH|jtGdI| dJtGdK| dLdMtGdN| dOdP| dQtGdGy1cc}w#|j,r-|*|t4_| t4_||j=wwwwxYw)SuCLI 엔트리포인트u2Autoresearch: 스킬 프롬프트 자동 최적화) descriptionz--skillTu$스킬명 (skills/ 하위 폴더명))requiredhelpz --checklistu체크리스트 YAML 경로z--roundsru 최대 라운드 수 (기본 50))typedefaultrz--target-scoreru목표 점수 (기본 0.95)z --consecutiveru연속 달성 횟수 (기본 3)z--model-mutateru변경 생성용 모델)rrz --model-judgeru채점용 모델z --dry-run store_trueu2실제 변경 없이 1라운드만 시뮬레이션)actionrz --skills-dirru스킬 디렉토리 경로z --backgrounduQ백그라운드 모드: stdout 파일 리다이렉트 후 보고서 자동 생성z--notifyuG완료 시 cokacdir로 보고서 전송 (--background와 함께 사용))rz --test-inputu&테스트용 입력 텍스트 (단일))rz--test-inputs-fileu,테스트 입력 YAML 파일 경로 (멀티)) rrrrrrHrIrrNrJtextrKrrrrzautoresearch-stdout.logwr*r+)generate_reportz %Y%m%d-%H%M%Szreport-z.mdu보고서 저장: z/usr/local/bin/cokacdirz --sendfilez--chatCOKACDIR_CHAT_ID 6937032012z--key109fa85250c6d46bF)check z2==================================================uAutoresearch 완료: u 라운드: total_roundsu최종 점수: final_scorerzKEEP: riz , REVERT: rjre))argparseArgumentParser add_argumentrzr|rr_WORKSPACE_ROOTadd_mutually_exclusive_group parse_argsskillrDrrrrHrIrrrJrBtest_inputs_filerdatetimerr:sysstdoutstderrrcloseautoresearch.reporterrnowstrftimerynotify subprocessosenvironr<)rparser input_groupargs run_kwargs inputs_dataitemlog_fileoriginal_stdoutoriginal_stderrrr log_pathrEr timestamp report_pathrs r"mainrsi  $ $1e fF  D7]^  ;XY  b?ab (udIfg c1Cde (2ELef 1LSef  L?st D4IH4T0U\xy |3F <.w 55t5DK^2Z[18fg   T "Djj..++))''))''<<oo "J "#'?? < 't'<'<= >I$JdT&\$J =! #' < HOO )DJJ6@ t488H sW=****  !J ??:(CJ(CJ#  9%%))+44_E )DJJ6@ ) {#&>>? [) ";-01 ;;  NN- JJNN#5|D&   Bvh- !$** ./ KN+, -. OC .s3 45 F3v;-z#j/): ;< VH K%K4 ??:(CJ(CJ# $ ;?s? Q Q ;R__main__)NN)N)1__doc__rrrrpathlibrtypingrrr__file__rparent _SCRIPTS_DIRr?insertrr<rautoresearch.changelogrrr r r autoresearch.judger r autoresearch.mutatorrautoresearch.skill_executorrrr#r0r3listr{rBrzr|tuplerboolrr__name__exitrer$r"rs  4>))+2299: sxxHHOOA|$**..c$x.00299@@GGHgf;2A & & & &5c535C5VY5^b5&5s5#535UX5]a5&T#s(^(<R"$(^2^2^2^2CH~ ^2 c3h ^2  ^2^2^2^2^2d ^2cT!^2 3tCH~ %&^2H"$(+2$/(:;xxxd xcT! x  x  xxxxxxx #s(^xvq tCy4q 3q h z CHHTVr$