iC HUdZddlmZddlZddlmcmZddl Z ddl Z ddl Z ddl Z ddl Z ddlZddlZddlZddlmZddlZee j(j+deeej1j2dZedz Zeeej8vr"ej8j;deeedz d z Zed z Zed z d z d z Z ed z d z dz dz Z!edZ"iZ#de$d<ddZ%dZ&ddZ'd dZ(d!d"dZ)dZ*dZ+dZ,dZ-dZ.dZ/dZ0y)#u;task-2403 — IDS 후속 정리 통합 회귀 테스트 (벨레스 작성). 커버 항목: 1. task-2391/2392/2394 .done 발급 확인 2. task-2392 28장 PNG 한글 OCR 100% (계층 표본 + rapidocr) 3. task-2393 5 mp4 첫·중·끝 OCR 100% 4. task-2394 router 5 자연어 케이스 라우팅 정확도 ≥ 80% 5. silent pass 게이트 회귀 (더미 PNG → OCR 키워드 0건 → FAIL 판정) ★ silent pass 금지: 파일 존재만으로 PASS 판정하지 않는다. ★ rapidocr 미설치 환경: 명확한 FAIL 메시지로 신호 (silent fallback PASS 금지). ) annotationsN)PathWORKSPACE_ROOTscriptsmemoryeventsarchiveskillszmobile-prototype-kooutputszvalidate_korean_ocr.pyz/tmp/task-2403-motiondict_OCR_ENGINE_CACHEc tjdy#t$r) tjdYy#t$rYYywxYwwxYw)u사용 가능한 OCR 엔진 종류 반환. Returns: "easyocr" — easyocr 사용 (한국어 정확도 높음) "rapidocr" — rapidocr fallback (중국어 PPOCR 모델, 한국어 미지원) "none" — OCR 미설치 (silent pass 금지: 명시 FAIL) easyocrrapidocr_onnxruntimerapidocrnone) importlib import_module ImportError;/home/jay/workspace/tests/dev6/test_ids_followup_cleanup.py_ocr_engine_kindr7sP *    # #$: ;   s$ A 9 AA AA ct}|dk(ry|tvr t||fS|dk(rddl}|jddgdd }n dd lm}|}|t|<||fS) uJOCR 엔진 인스턴스 반환. 캐시 사용 (모델 init 비용 절감).r)NrrrNkoenF)gpuverbose)RapidOCR)rrrReaderrr )kindrenginer s r _load_ocrr$Jso  D v~    &,, yt %G1$d 4<rc|dk(r|jt|dS|dk(r=|t|\}}|sgS|Dcgc]}|st|dkDs|dc}SgScc}w)u1OCR 실행 → 인식된 텍스트 목록 반환.rr)detailr)readtextstrlen)r#r"png_pathresult_items r_run_ocrr/[so ys8}Q77 z3x=) I$*EDds4y1}QEE IFsA& A&A&ctjjdt}tjj |}|j j ||jS)Nvalidate_korean_ocr)rutilspec_from_file_locationVALIDATE_OCR_SCRIPTmodule_from_specloader exec_moduleSCENARIO_KEYWORDS)specmods r_load_scenario_keywordsr;lsP >> 1 12 D .. ) )$ /CKKC   rc dd}d}tjd||ddddd}|d|}d}t|D]}d d |zz} || z }tj|} |d | } |d d} |j ||z| z| zy )u:흰색 10×10 PNG 파일 생성 (한글 텍스트 없음).c||z}tjdt||ztjdtj|dzzS)Nz>Il)structpackr*zlibcrc32) chunk_typedatacs r_chunkz_make_dummy_png.._chunk}sD  {{4T+a/&++dDJJqMT^D^2___rsPNG  z>IIBBBBBrrsIHDRrssIDATsIENDN)rBbytesrCrHreturnrH)r>r?ranger@compress write_bytes) pathwidthheightrEheader ihdr_dataihdrraw_rowsr-row compressedidatiends r_make_dummy_pngrXzs`"F Jvq!Q1EI '9 %DH 6]%//Cx(J ': &D '3 DVd]T)D01rc gd}g}|D]V}t|dz t|dz t|dz t|dz g}td|D}|rF|j|X| }|st j d|dtdtdd zd d t jvst j|rt j|nd iz}tt j|d }y ) uatask-2391, 2392, 2394 의 .done 파일이 events/ 또는 events/archive/ 에 존재해야 한다.)z task-2391z task-2392z task-2394z.donez .done.ackedc3<K|]}|jyw)N)exists).0ps r z.s31AHHJ3su=다음 task의 .done 파일이 발급되지 않았습니다: u 확인 경로: u 및 u3 finish-task.sh 실행 여부를 점검하세요. >assert not %(py0)spy0missingN) EVENTS_DIREVENTS_ARCHIVE_DIRanyappend @pytest_ar_format_assertmsg @py_builtinslocals_should_repr_global_name _safereprAssertionError_format_explanation)task_idsratid candidatesfound @py_assert1 @py_format2s r)test_done_files_issued_for_2391_2392_2394rts7HG   C5 & C5 . C5 , , C5 !4 4  3 33 NN3   ;; HyQ&=z%(py0)s >= %(py3)s actual_countr`py3uPNG 파일이 u5장입니다 (기대: 28장 이상). 디렉토리: u< 스바로그가 아직 렌더링 중일 수 있습니다. >assert %(py5)spy5Ndashboard_iphone15pro_lightsignup_step1_pixel9pro_darkai_analysis_iphone15pro_darku 표본 PNG 'u/' 를 찾을 수 없습니다. 디렉토리:  >assert %(py0)sr`matchesr )>)z%(py0)s > %(py3)ssize_kb'u ' 크기가 z.1fukKB — 10KB 미만. 한글이 그려지지 않았거나 렌더링이 실패한 것으로 의심됩니다.)sorted OUTPUTS_DIRglobr*rf_call_reprcomparerhrirjrkrgrlrmliststatst_sizename) png_filesr{ @py_assert2rr @py_format4 @py_format6 sample_stemsstemr @py_format1pngrs r!test_png_28_count_and_sample_sizers_{''01Iy>L<2  <2     '&-(F F L   {''4&78 4&!*m -   6          aj((*$$t+ w|  w   6          zgc]3f f       rc t\}}|tjdt}dddd}t j d}g}|j D]\}}ttj|d}|s|jd |d ?|d } t||| } d j| } |j|g} | D cgc] } | | vs|  }} t|j| }|r|jd | j d|d|d| dd| }|st#j$ddj|zdzdzddt'j(vst#j*|rt#j,|ndiz}t/t#j0|d}ycc} w)u표본 PNG 3장에 대해 rapidocr로 한글 키워드 존재를 검증한다. ★ rapidocr 미설치 환경: FAIL (silent pass 금지). - 파일 크기만으로 PASS 처리하지 않는다. Nu[rapidocr 미설치] rapidocr_onnxruntime 패키지가 설치되어 있지 않습니다. 한글 OCR 검증을 건너뛰면 silent pass가 됩니다 — 이는 허용되지 않습니다. pip install rapidocr-onnxruntime 후 재실행하세요. dashboard signup_step1 ai_analysisru [가-힣]rvu 파일 없음: u (outputs/에서 찾지 못함)r z u: 시나리오='uB' 한글 OCR 0건 (시각 corruption 의심) matched_keywords=u$ OCR 텍스트 (처음 200자): u3PNG 한글 OCR 시각 corruption 게이트 실패:  u] (정밀 키워드 매칭 정확도는 memory/reports/task-2403-easyocr-verify.json 참조)r_r`failures)r$pytestfailr;recompileitemsrrrrer/joingetboolsearchrrfrgrhrirjrkrlrm)ocrocr_kindscenario_keywords sample_map HANGUL_RErrscenariorr+textscombined expected_kwskwmatched_keywords any_hangulrrrss r(test_png_sample_rapidocr_korean_keywordsrsKMC {  I 01(3'5(5J <(IH$**,h{''4&78 OO/v5TU V 1:h188E?),,Xr: )5H2xBHH)**845  OOX]]O#3H:>((8'9:66>tn5GI %2<< ?8ATTh iIs  GGc tj}|}|stjdtddzdt j vstj trtjtndtj|tj|dz}ttj|dx}}ttjd}ttjd}t|d k\}t|d k\}g}|}|s|}|s&d d d t j vstj |rtj|nd iz}|j||sXdddt j vstj |rtj|ndiz}|j|tj|diz} tjdt|dt|dtddzd| iz} ttj| dx}}y)u/tmp/task-2403-motion/ 에 mp4 5건 또는 PNG 15장이 존재해야 한다. ★ 디렉토리 미존재 시 skip이 아닌 명확한 FAIL로 신호. u9모션 출력 디렉토리가 존재하지 않습니다: u task-2393 산출물이 아직 생성되지 않았거나 경로가 변경되었습니다. glob 패턴으로 /tmp/task-2403-motion/**/*.mp4 및 *.png 를 확인하세요.zC >assert %(py4)s {%(py4)s = %(py2)s {%(py2)s = %(py0)s.exists }() } MOTION_DIR)r`py2py4Nz**/*.mp4**/*.pngz%(py2)srhas_mp4z%(py4)sr has_framesr'zmp4(u건) 또는 PNG 프레임(u_장) 모두 부족합니다. 기대: mp4 5건 이상 또는 PNG 15장 이상 디렉토리: u? 스바로그 mp4 렌더링 완료 여부를 확인하세요.z >assert %(py7)spy7)rr[rfrgrhrirjrkrlrmrrr*re_format_boolop) rr @py_assert3 @py_format5 mp4_files png_framesrr @py_assert0 @py_format3r @py_format8s rtest_motion_mp4_or_frames_existrs       DJ<P\ \      zz23I  34J)n!GZB&J77j       ! !    s9~8Z8IJ%,'I I rc tjstjdtdt \}}|tjdt tj dt tj dzt tj dz}|stjdtd d zd d tjvstj|rtj|nd iz}ttj||d }t|||}dj!|}gd}|Dcgc] }||vs| } }| stjd|j"d|d|ddd zd dtjvstj| rtj| ndiz}ttj|ycc}w)u모션 표본 1건에 대해 rapidocr로 한글 키워드 존재를 검증한다. ★ rapidocr 미설치 환경: FAIL (silent pass 금지). u&모션 출력 디렉토리 미존재: uA test_motion_mp4_or_frames_exist 먼저 통과해야 합니다.Nu[rapidocr 미설치] rapidocr_onnxruntime 패키지가 설치되어 있지 않습니다. 모션 OCR 검증을 건너뛰면 silent pass가 됩니다 — 허용되지 않습니다. pip install rapidocr-onnxruntime 후 재실행하세요.z**/*first*.pngz **/*_0.pngru1모션 PNG 프레임을 찾을 수 없습니다: z /**/*.pngrr`rprr)u 보험료u비교u안내AIu분석u점수u 카드뉴스u발행u?모션 표본 OCR 키워드 없음 (시각 corruption 의심): u: 기대 키워드 (모션 슬라이드 3장 합집합): u" OCR 텍스트 (처음 200자): rrq)rr[rrr$rrrfrgrhrirjrkrlrmr/rr) rrrpr sample_pngrr candidate_kwsrrqs rtest_motion_sample_rapidocrr0s     4ZLAO O KMC {  I  z/01 . / 0 , - .  R :E :  J*//IZ[DDQ?S,,4TcN+= ?    5 ;s " H,Hctjd}gd}d}g}|D]m\}}|j|d}|j|k(r|dz }.|j d|d|d |jd |j d |j d d o|t|z }d}||k\} | stjd| fd||fdtjvstj|rtj|ndtj|dz} tjd|dt|d|dddj|zdzd| iz} t!tj"| dx} }y)u5개 자연어 입력 → 각 라우팅 결과 정답률 ≥ 80% (5건 중 4건 이상). ids_natural_routing.route()를 importlib로 직접 호출. ids_natural_routing))u)인스타그램 카드뉴스 만들어줘cardnews)u.iPhone 15 Pro 모바일 프로토타입 시연mobile)u"supabase 스타일 보험 PPT 5장ppt)u#MP4 모션 카드뉴스 reels 30초motion)u%광고 포토 이미지 한글 카피imager design_team)callerr'u 프롬프트=u 기대 intent=u 실제 intent=z (skill=z, conf=z.2f)g?rxrzaccuracyr|u라우팅 정확도 /z (z.0%u() — 기대: ≥ 80% 미스 케이스: rr~rN)rrrouteintentreskill confidencer*rfrrhrirjrkrgrrlrm) ids_router test_casescorrectmissespromptexpected_intentdecisionrrrrrrs r$test_router_natural_language_5_casesrcs (()>?JJG F#- ##F=#A ??o - qLG MM!&,%%4$78%%-__$7x?QQXYaYlYlmpXqqrt  Z(H8t 8t   wiqZ(9HS>J  $ & 1 2rct\}}|tjdt}|j dgd}t j 5}t|dz }t|dd|jj}d}d}||z} || k} | stjd | fd || fd tjvstj|rtj |nd tj |tj |d z} tj"d |ddzd| iz} t%tj&| dx} x}x}} t)|||} dj+| }|Dcgc] }||vs| }}| } | stj"d|d|ddzddtjvstj|rtj |ndiz}t%tj&|d} dddycc}w#1swYyxYw)uv더미 PNG (한글 0) → rapidocr OCR → 키워드 0건 → FAIL이어야 한다. 이 테스트 자체가 PASS 되어야 한다 (더미 PNG로 FAIL이 나는지 확인하는 메타 회귀). 즉, OCR 키워드가 0건임을 assert 하여 "파일 존재만으로 PASS 되지 않음"을 보장. ★ rapidocr 미설치 환경: FAIL (silent fallback 불허). Nu![rapidocr 미설치] silent pass 게이트 회귀 테스트를 실행할 수 없습니다. rapidocr_onnxruntime 미설치 상태에서 더미 PNG 검증을 건너뛰면 'silent pass 금지' 원칙이 보장되지 않습니다. pip install rapidocr-onnxruntime 후 재실행하세요.r)u보험u월u원u추천zdummy_no_korean.pngr)rNrOr)<)z%(py0)s < (%(py3)s * %(py5)s) size_bytes)r`r}ru 더미 PNG가 너무 큽니다: uB — 테스트 설계 오류z >assert %(py8)spy8ru%게이트 회귀 오류: 더미 PNG (u$B, 한글 없음)에서 키워드 uz가 발견되었습니다. OCR 엔진이 오탐(false positive)을 내거나 테스트 설계를 점검해야 합니다.r_r` found_kws)r$rrr;rtempfileTemporaryDirectoryrrXrrrfrrhrirjrkrgrlrmr/r)rrrrtmpdir dummy_pngrr @py_assert4 @py_assert6rr @py_format7 @py_format9rrrrrss r.test_silent_pass_gate__dummy_png_must_fail_ocrrs5KMC {  I 01$((6XYL  $ $ & &L#88  B7^^%--   BI zI%  zI   6        "&  /zl:W X      h 288E?".AB".RA A} } 4J<@$+&n n   6               B  s&D8H6 H1H1B H61H66H?)rIr))r"r)r+rrIz list[str])rIr )rr)rMrrNintrOrrINone)1__doc__ __future__rbuiltinsrh_pytest.assertion.rewrite assertionrewriterfrimportlib.utilosrr>sysrr@pathlibrrenvironrr)__file__resolveparentsrSCRIPTSrMinsertrbrcrr4rr__annotations__rr$r/r;rXrtrrrrrrrrrr sG #   JJNN#Sh)?)?)A)I)I!)L%MN 9 $w