0i &PdZddlmZmZddlmZmZmZddlm Z m Z GddZ y)uinsurance_crawler.py — 보험사 공개 데이터 크롤러 프로토타입. Scrapling Smart Matching으로 구조 변경에 강인한 크롤링. crawl_utils.py의 ProxyRotator/html_to_markdown/clean_html 활용. 주의사항: - 합법적 공개 데이터(보험사 공시 페이지 등)만을 대상으로 합니다. - 실제 크롤링 전 반드시 대상 사이트의 robots.txt를 확인하고 준수해야 합니다. - 본 모듈은 프로토타입이며 외부 네트워크 호출은 사용처에서 관리합니다. )AnyOptional) ProxyRotator clean_htmlhtml_to_markdown)Selector SelectorscZeZdZdZ ddedeeeddfdZddedede fd Z dd e d ed ed ee eefdee eeeff dZ dd e ded ee eefde dee eeeff dZ dd e dededededee eeff dZdedefdZded e eefdee eeeffdZy)InsuranceCrawleru보험사 공시 페이지 데이터를 추출하는 크롤러 프로토타입. Scrapling의 Smart Matching(auto_save/adaptive/find_similar)을 활용하여 웹사이트 구조 변경에도 데이터 추출을 유지한다. robots.txt 준수: 실제 크롤링 시 반드시 대상 사이트의 robots.txt를 확인하고 허용된 경로만 크롤링해야 합니다. Nadaptive proxy_listreturncF||_|rt||_yd|_y)uInsuranceCrawler 초기화. Args: adaptive: Smart Matching 활성화 여부 (True면 auto_save/adaptive 사용) proxy_list: 프록시 URL 리스트 (없으면 직접 연결) N)r r proxy_rotator)selfr r s 0/home/jay/workspace/scripts/insurance_crawler.py__init__zInsuranceCrawler.__init__s"! Q[\*5Maehtmlurlc2t|||jS)u HTML을 Smart Matching 지원 Selector로 파싱. Args: html: 파싱할 HTML 문자열 url: 원본 URL (Smart Matching 식별자로 활용) Returns: Selector 인스턴스 (adaptive=self.adaptive 설정) )rr )rr )rrrs rparsezInsuranceCrawler.parse*s# >>rpage css_selector identifierfieldsc|r|n|}|j||j|j|}|sgS|zg}|D]q}|jdj} | ;|jdj} dj d| Dxsd} |j d| is|S|j ||S)uCSS 셀렉터 기반 데이터 추출. Smart Matching으로 auto_save/adaptive 적용. Args: page: parse()로 생성한 Selector css_selector: 항목 컨테이너 CSS 셀렉터 (예: ".product") identifier: Smart Matching 저장 식별자 (예: "insurance_product") 빈 문자열이면 css_selector를 식별자로 사용 fields: 필드명→서브셀렉터 매핑 (예: {"name": ".name", "price": ".price"}) None이면 컨테이너 텍스트만 추출 Returns: [{"name": "보험A", "price": "10000"}, ...] 형태의 딕셔너리 리스트 ) auto_saver rN::text c3^K|]%}|js|j'ywNstrip.0ts r z9InsuranceCrawler.extract_with_selector..`s'NaAGGI 'N--text)cssr getgetalljoinappend_extract_fields) rrrrridentelementsresultelemtext_valtextss rextract_with_selectorz&InsuranceCrawler.extract_with_selector6s*) l#hh mm]] ' I >57F  288H-113# HHX.557E"xx'N5'NNVRVH vx01  2M##Hf55rreference_selector thresholdc\|j|j}|gS|j|}|gt|z}|Yg}|D]P} | jdj } dj d| Dxsd} |j d| iR|S|j||S)ufind_similar()로 반복 구조 데이터 자동 추출. 기준 요소 하나를 찾고, 구조적으로 유사한 요소를 모두 찾아 데이터 추출. Args: page: Selector 인스턴스 reference_selector: 기준 요소의 CSS 셀렉터 (첫 번째 매칭 요소 기준) fields: 필드명→서브셀렉터 매핑 threshold: 유사도 임계값 (0.0~1.0) Returns: 기준 요소 + 유사 요소에서 추출한 딕셔너리 리스트 N)similarity_thresholdrr c3^K|]%}|js|j'ywr"r#r%s rr(z3InsuranceCrawler.extract_similar..s2Yqwwy17792Yr)r*)r+first find_similarlistr-r.r/r0) rrr8rr9 ref_elementsimilar_elements all_elementsr3r4r6r5s rextract_similarz InsuranceCrawler.extract_similarfs*+/((3E*F*L*L  I'2&>&>T]&>&^)4}t57F$ 2*113*-((2Ye2Y*Y*a]a vx01 2M##L&99rtable_selectorheader_selector row_selector cell_selectorc|j|j}|gS|j|}|sgSg}d} |D]I} | j|} | s| D cgc]%} | jdjxsd'}} | } ng} |D]} | t| t| k(r| j|}|s1|s%t t |Dcgc]}d| }}n|}i}t |D]C\}} |t |kr||nd|}| jdjxsd||<E|s| j|| Scc} wcc}w)uHTML 테이블 데이터를 딕셔너리 리스트로 추출. 첫 행(th)을 헤더로, 나머지 행(td)을 데이터로 변환. Args: page: Selector 인스턴스 table_selector: 테이블 CSS 셀렉터 (기본값: "table") header_selector: 헤더 셀 CSS 셀렉터 (기본값: "th") row_selector: 행 CSS 셀렉터 (기본값: "tr") cell_selector: 데이터 셀 CSS 셀렉터 (기본값: "td") Returns: [{"보험명": "화재보험", "보험료": "50000"}, ...] 형태의 딕셔너리 리스트 헤더 없으면 col_0, col_1 등 자동 명명 Nrcol_)r+r=r,strrangelen enumerater/)rrrDrErFrGtablerowsheaders header_rowrowth_cellscellr3td_cellsi col_headersrow_datakeys r extract_tablezInsuranceCrawler.extract_tables.%)HH^$<$B$B =I))L1I )-  Cww/HFNOd488H-1139r9OO   (* (C%#c(c*o*Eww}-H38X3GHaaSzH H% ')H$X. ?4()C ,<(B  ? h'+ (. ;P"Is *E EcX|syt|}t|d}|jS)uHTML을 LLM 입력용 마크다운으로 변환. clean_html() → html_to_markdown() 파이프라인. Args: html: 변환할 원본 HTML 문자열 Returns: LLM 입력에 적합한 마크다운 문자열 rIF) remove_noise)rrr$)rrcleanedmarkdowns r to_llm_inputzInsuranceCrawler.to_llm_inputs1T")uE~~rr2cg}|D]V}i}|jD].\}}|dz}|j|j} | ||<0|j|X|S)uX내부 헬퍼: elements에서 fields 매핑에 따라 데이터 추출. TextHandler 체이닝: css(selector + '::text').get() Args: elements: Selectors 컬렉션 또는 Selector 리스트 fields: 필드명→서브셀렉터 매핑 Returns: 추출된 딕셔너리 리스트 r)itemsr+r,r/) rr2rr3r4item field_name sub_selector text_selectorvalues rr0z InsuranceCrawler._extract_fieldssw 24 D-/D,2LLN )( L ,x 7 '+xx '>'B'B'D#(Z  ) MM$   r)TN)rI)rIN)Ng?)rOthtrtd)__name__ __module__ __qualname____doc__boolrr?rKrrrdictr7floatrCr[r`rr0rrr r s*. f fT#Y' f  f ?# ?C ? ? +/ .6.6.6 .6 c3h( .6 d3 %& ' .6h,0 ):): ):c3h( ):  ): d3 %& ' ):\&# ! EEE E  E  E d38n EN   .S#X d3 %& ' rr N) rntypingrr crawl_utilsrrrscrapling.parserrr r rrrrrvs$ !BB0xxr