%i- UdZddlZddlmcmZddlZddlZddl Z ddl m Z ddl Z ejjddddlmZmZdZgdZeeed<gd Zeeed <ej0d Zej0d Zd"d ededefdZe j:ddefdZe j:ddede ee ffdZ!GddZ"GddZ#GddZ$GddZ%GddZ&Gd d!Z'y)#u test_comparison.py - opendataloader-pdf 파싱 품질 검증 테스트 목적: opendataloader-pdf를 통한 PDF 파싱 품질 데이터 수집. 키워드 존재, 조항 번호 감지, 특수문자 처리 등을 확인한다. N)Anyz/home/jay/workspace/libs) ParseResult parse_pdfuj/home/jay/.cokacdir/workspace/autoset/금융소비자_보호에_관한_법률법률제21065호20260102.pdf)u금융소비자u 금융상품u금융상품판매업자u 손해배상u 청약철회REQUIRED_KEYWORDS)「」uㆍ·u①u②u③ SPECIAL_CHARSu제\s*\d+\s*조u*[①②③④⑤⑥⑦⑧⑨⑩]|\b\d+\.\scharwidthreturnc ||zS)N)r r s 1/home/jay/workspace/libs/tests/test_comparison.py _separatorr4s %<module)scopecnttd5}|jcdddS#1swYyxYw)uP테스트 PDF 파일을 바이트로 읽어 반환한다 (모듈 범위 캐싱).rbN)openPDF_PATHread)fs r pdf_bytesr=s. h vvxs+4rcxtj}t|}tj|z }||dS)uopendataloader-pdf(parse_pdf) 파싱 결과를 캐싱한다. Returns: { "parse_result": ParseResult, "elapsed": float, # 초 단위 } ) parse_resultelapsed)time perf_counterr)rt0resultrs r odl_resultr#DsA    B#I.F!B&G rcxeZdZdZdeeefddfdZdeeefddfdZdeeefddfdZ deeefddfdZ y) TestTextExtractionAccuracyu%항목 1: 텍스트 추출 정확도.r#r Ncp|dj}t|}d}||kD}|s tjd|fd||fdt j vstj trtjtnddt j vstj |rtj|ndtj|tj|dz}tjdd zd |iz}ttj|d x}x}}y ) u+추출된 텍스트가 비어있지 않다.rr>z/%(py3)s {%(py3)s = %(py0)s(%(py1)s) } > %(py6)slendl_textpy0py1py3py6u*opendataloader: 텍스트가 비어 있음 >assert %(py8)spy8N) textr* @pytest_ar_call_reprcompare @py_builtinslocals_should_repr_global_name _saferepr_format_assertmsgAssertionError_format_explanation)selfr#r+ @py_assert2 @py_assert5 @py_assert4 @py_format7 @py_format9s rtest_text_not_emptyz.TestTextExtractionAccuracy.test_text_not_empty`s!.1667|MaM|aMMM|aMMMMMMsMMMsMMMMMM7MMM7MMM|MMMaMMM!MMMMMMMMrc|dj}tttdtdtttD]}||v}|rdnd}td|dd| ttdy ) u?필수 키워드가 추출된 텍스트에 포함되어 있다.r=u[키워드 포함 여부]Ou X (누락) z<20 N)r3printrr)r=r#r+kwdl_foundmarks rtest_keyword_presencez0TestTextExtractionAccuracy.test_keyword_presencees|!.166  jo )* jl# (BW}H"3 D Br#hav& ' ( jorc|dj}d}tttdtdtttdt|d|ttdy)uM첫 500자 샘플을 출력하여 추출 품질을 육안으로 확인한다.rirEu[텍스트 샘플 (첫 500자)]z-- opendataloader-pdf --N)r3rIr)r=r#r+ sample_lens rtest_text_samplez+TestTextExtractionAccuracy.test_text_sampleus_!.166   jo /0 jl () gkz"# jorcD|dj}t|}tttdtdtttd|ddttdd}||kD}|st j d|fd ||fd t jvst j|rt j|nd t j|d z}d d |iz}tt j|dx}}y)u+추출된 텍스트 길이를 보고한다.rrEu[텍스트 길이]u' opendataloader-pdf 텍스트 길이: ,u 문자rr'z%(py0)s > %(py3)sdl_lenr-r/zassert %(py5)spy5N) r3r*rIrr4r5r6r7r8r9r;r<)r=r#r+rTr> @py_assert1 @py_format4 @py_format6s rtest_text_length_reportz2TestTextExtractionAccuracy.test_text_length_reports!.166W  jo "# jl 7qzIJ jovzvvvr) __name__ __module__ __qualname____doc__dictstrrrCrMrPrZrrrr%r%]st/Nd38nNN S#X4 4S> d  $sCx. T rr%c*eZdZdZdeeefddfdZy)TestTableStructurePreservationu*항목 2: 표(table) 구조 보존 여부.r#r Nc  |dj}tttdtdtttdt||rt |D]r\}}|j dg}|j dg}td|dt|d t|d td ||sbtd |d tn tdttdy)u6추출한 테이블의 행/열 구조를 출력한다.rrEu[테이블 구조 상세]u 감지된 테이블 수: headersrowsz Table[z]: u행 x u열u 헤더: u 첫 행: ru (감지된 테이블 없음)N)tablesrIrr* enumerateget)r=r# dl_tablesidxtblrdres rtest_table_structure_detailz:TestTableStructurePreservation.test_table_structure_details*4^*D*K*K   jo )* jl +C N+;<= %i0 5S%(WWY%;(+(;ST 6#g,sKL WI./M$q'34  5 2 3 jor)r[r\r]r^r_r`rrlrrrrbrbs 4d38nrrbcDeZdZdZdeeefddfdZdeeefddfdZy)TestArticleNumberAccuracyu3항목 3: 조항 번호 정확성 (제N조 패턴).r#r Nc |dj}tj|}ttt dtdtt tdt |t t|d}tdt |td|d d t |d kDrd nd tt dt |}d }||kD}|s tjd|fd||fdtjvstjt rtjt nddtjvstj|rtj|ndtj|tj|dz}tjddzd|iz} ttj | d x}x}}y )uT감지된 조항(제N조) 수를 출력하고 최소 1개 이상인지 확인한다.rrEu[조항 번호(제N조) 감지]u( opendataloader-pdf 감지 조항 수: c\ttjd|jS)Nz\d+)intresearchgroup)xs rz>TestArticleNumberAccuracy.test_article_count..s#bii288:;r)keyu unique 조항 수: u 조항 목록: Nz...rr'r)r* dl_articlesr,u>opendataloader: 조항 번호가 하나도 감지되지 않음r1r2)r3ARTICLE_PATTERNfindallrIrr*sortedsetr4r5r6r7r8r9r:r;r<) r=r#r+rz dl_uniquer>r?r@rArBs rtest_article_countz,TestArticleNumberAccuracy.test_article_counts^!.166%--g6   jo /0 jl 8[9I8JKL  ;  %c)n%567  #2/Y"9LRT/U V  jo;e!e!#eee!eeeeeeseeeseeeeee;eee;eeeeee!eee%eeeeeeeerc|dj}tj|}ttt dtdtt tdt |tt dy)u7항 번호(① ② ③ 등) 감지 수를 출력한다.rrEu[항 번호(①②③) 감지]u, opendataloader-pdf 감지 항 번호 수: N)r3CLAUSE_PATTERNr|rIrr*)r=r#r+ dl_clausess rtest_clause_number_countz2TestArticleNumberAccuracy.test_clause_number_countsg!.166#++G4   jo ./ jl =fT#s(^ff0 4S> d rrncDeZdZdZdeeefddfdZdeeefddfdZy)TestSpecialCharacterHandlingu6항목 4: 특수문자(「」, ㆍ 등) 처리 여부.r#r Nc|djtttdtdtttdddddd ttd d tD]2}j |}|d kDr|d nd}td|dd|d 4t fdtD}tttd|dt tttdy)uC각 특수문자의 존재 여부와 등장 횟수를 출력한다.rrEu[특수문자 처리]rGu문자z<8rHuopendataloader-pdf 횟수z>24-$ru회u 미발견c3,K|] }|vsd ywNr.0chr+s r zJTestSpecialCharacterHandling.test_special_char_presence..DrbGmD u 커버 특수문자: /N)r3rIrr countsumr*)r=r#rdl_countdl_mark dl_coveredr+s @rtest_special_char_presencez7TestSpecialCharacterHandling.test_special_char_presences!.166  jo %& jl 8B-q!drrc*eZdZdZdeeefddfdZy)TestProcessingSpeedu항목 5: 처리 속도.r#r Nc|d}|djjdd}|dkDr||z nd}tttdtdtttd |d d td |d |dd ttdd}||kD}|st j d|fd||fdt jvst j|rt j|ndt j|dz}t jddzd|iz}tt j|dx}}y)u8파싱 시간을 출력하고 양수인지 확인한다.rr page_countrrgrEu[처리 속도]u$ opendataloader-pdf 처리 시간: z.3fu초u 총 페이지: u, 페이지당: z.4fr'rS dl_elapsedrUu,opendataloader-pdf 처리 시간이 0 이하z >assert %(py5)srVN) metadatarhrIrr4r5r6r7r8r9r:r;r<) r=r#rdl_pages dl_per_pager>rWrXrYs rtest_parsing_speedz&TestProcessingSpeed.test_parsing_speeds&y1 ">2;;?? aP/7!|j8+   jo   jl 4Z4DCHI !(+;K;LCPQ joMzA~MMMzAMMMMMMzMMMzMMMAMMMMMMMMMMr)r[r\r]r^r_r`rrrrrrrs#"NT#s(^NNrrc*eZdZdZdeeefddfdZy)TestSummaryReportu종합 요약 출력.r#r Nc T |dj |dj}|d}tj }t fdt D}t fdt D}tttddtdttddtdd d d d d ttddtddd d t ddtt d}td|d d |d tddd d t|d tddd d tt|d tddd d |d tddd d |dttddtt }d} || kD} | stjd| fd|| fdtjvstjtrtj tnddtjvstj rtj ndtj |tj | dz} dd| iz} t#tj$| d x}x} } y )!uD모든 항목의 핵심 지표를 한 화면에 요약 출력한다.rrc3,K|] }|vsd ywrrrs rrz9TestSummaryReport.test_overall_summary..8rrc3,K|] }|vsd ywrr)rrJr+s rrz9TestSummaryReport.test_overall_summary..9sC"R7]ACrrE<u2[ opendataloader-pdf 파싱 품질 종합 요약 ]rGu항목z<30rHzopendataloader-pdfz>20ru텍스트 길이 (문자)z>20,u키워드 검출 (u개 중)u감지 테이블 수u감지 조항 수(제N조)u특수문자 커버 수u처리 시간 (초)z>20.3frr'r)r*r+r,zassert %(py8)sr2N)r3rfr{r|rr rrIrr*r~r4r5r6r7r8r9r;r<)r=r#rirrz dl_specialdl_kw kw_headerr>r?r@rArBr+s @rtest_overall_summaryz&TestSummaryReport.test_overall_summary1s !.166*4^*D*K*K &y1 %--g6 D]DD C 1CC  jb!" BC jb!" 8C."6s!;<= jb!" .s31S\$4GHI(->)?(@I  9S/5+./ )#.aIs/CDE /4Ac#k:J6KC5PQR ,S1:c2BCD (-Qz&.ABC jb!" 7|a|a|ass77|ar)r[r\r]r^r_r`rrrrrrr.s  tCH~ $ rr)rr)(r^builtinsr6_pytest.assertion.rewrite assertionrewriter4rrsysrtypingrpytestpathinsert doc_parserrrrrlistr`__annotations__r compiler{rrqrfixturebytesrr_r#r%rbrnrrrrrrrsA  -.-K  49L tCyK"**/0IJSsCh5  h%DcN 022t@&&\''^NN4  r