Ri' UdZddlZddlZddlZddlmZmZddlZddl Z ddl m Z GddZ de defd Z dd ed ed eed eedef dZhdhdhddZeeeefed<d dedeefdZhdZdedefdZdedefdZd!dededefdZej8dej:Zej8dej:ZhdZ dedefdZ!y)"u crawl_utils.py — 크롤링 유틸리티 모음. ProxyRotator, is_proxy_error, fetch_with_retry, get_resource_block_types, html_to_markdown, clean_html 제공. N)AnyOptional) BeautifulSoupcZeZdZdZd deededdfdZdeefdZdeddfd Z de fd Z y) ProxyRotatoru프록시 목록을 순환하는 클래스. Args: proxies: 프록시 URL 리스트. strategy: "round_robin" 또는 "random". proxiesstrategyreturnNc@t||_||_d|_y)Nr)list_proxies _strategy_index)selfrr s D/home/jay/workspace/.worktrees/task-2117-dev1/scripts/crawl_utils.py__init__zProxyRotator.__init__s#'= ! c|jsy|jdk(rtj|jS|j|jt |jz}|xjdz c_|S)uH다음 프록시를 반환한다. 빈 리스트면 None을 반환한다.Nrandom)r rrchoicerlenrproxys rget_nextzProxyRotator.get_next#s^}} >>X %==/ / dkkC ,>>? q  rrc |jj||jrJ|jt|jk\r(|jt|jz|_yd|_y#t$rYywxYw)uF특정 프록시를 목록에서 제거한다. 없으면 무시한다.rN)r removerr ValueErrorrs rrzProxyRotator.remove.sf  MM  '}}DMM0B!B"kkC ,>>     sA0A;3A;; BBc,t|jS)u%남은 프록시 수를 반환한다.)rr )rs r__len__zProxyRotator.__len__:s4==!!r) round_robin) __name__ __module__ __qualname____doc__r strrrrrintr rrrrsTS ST (3-  C D ""rrerrorr cZt|dd}| t|dryt|tS)u프록시 관련 오류 여부를 판별한다. - response.status_code 속성이 있으면 HTTP 오류로 간주 → False - OSError / ConnectionError / TimeoutError 계열 → True - 그 외 → False responseN status_codeF)getattrhasattr isinstanceOSError)r)r+s ris_proxy_errorr1Ds1uj$/H- @ eW %%rurl max_retries proxy_rotator fetcher_classc|ddl}|j}|}d}d}t|D]?}||j} ||j ||} n|j |} | cS|J|#t $rN} | }t | r|||j|d}||dz krtjd|zYd} ~ d} ~ wwxYw)u재시도 로직을 포함한 URL 페치 함수. Args: url: 가져올 URL. max_retries: 최대 재시도 횟수. proxy_rotator: ProxyRotator 인스턴스 (선택). fetcher_class: 페처 클래스. None이면 scrapling.Fetcher 사용. Returns: 페처의 fetch() 반환값. Raises: 마지막 시도까지 실패하면 마지막 예외를 raise. Nr)rr) scraplingFetcherrangerfetch Exceptionr1rtimesleep) r2r3r4r5r8fetcherlast_exc current_proxyattemptresultexcs rfetch_with_retryrEWs(!)) oG$(H#'M%'  $)224M '( s-@ s+M'&    N 'Hc"}'@]E^$$]3 $ q( 1g:&  's(A11 C:ACC>fontimagemediaother stylesheet>rFrGrH>rFrGrHrImanifest websocketrJ)defaultminimal aggressive_RESOURCE_BLOCK_PRESETSpresetc&tt|S)u리소스 차단 타입 집합을 반환한다. Args: preset: "default", "minimal", "aggressive" 중 하나. Returns: 차단할 리소스 타입 집합. )setrP)rQs rget_resource_block_typesrTs &v. //r>svgstylescriptnoscripthtmlct|d}tD](}|j|D]}|j*t |S)uYBeautifulSoup을 사용하여 script/style/noscript/svg 태그와 내용을 제거한다. html.parser)r _NOISE_TAGSfind_all decomposer&)rYsouptagelems r_remove_noise_tags_bs4rbsK } -DMM#& D NN   t9rct|d}|jdD]2}|j}|j|j |4t |S)uBeautifulSoup을 사용하여 script 태그를 텍스트 노드로 교체한다. markdownify는 script 태그 내용을 무시하므로, remove_noise=False일 때 script 태그를 텍스트로 변환하여 내용을 보존한다. r[rW)rr]get_text replace_with new_stringr&)rYr_ script_tagtexts r_expand_script_tags_to_textrisY } -DmmH-7 ""$ 567 t9r remove_noisec|r t|}n t|}tj|d}tjdd|}|S)uHTML을 Markdown으로 변환한다. Args: html: 변환할 HTML 문자열. remove_noise: True이면 script/style/noscript/svg를 먼저 제거. Returns: 변환된 Markdown 문자열. atx) heading_stylez\n{3,}z )rbri markdownifyresub)rYrjmds rhtml_to_markdownrrsH%d++40%%d%@B  62 &B Irz-\s+on\w+\s*=\s*(?:"[^"]*"|\'[^\']*\'|[^\s>]*)z%\s+style\s*=\s*(?:"[^"]*"|\'[^\']*\')c j|sy tjj|}tD]?}|j d|D]&}|j }||j |(A|jD]b}|jDcgc]7}|jjds|jdk(s6|9}}|D]}|j|=dtjj|d}t|tr|}|S|jd}|Scc}w#t$r{tD]A}t!j"d|d |d d|t j$t j&z }Ct(j#d|}t*j#d|}|cYSwxYw) uHTML에서 노이즈 태그와 위험 속성을 제거한다. - script/style/noscript/svg 태그 + 내용 제거 - onclick, onload, onmouseover 등 이벤트 핸들러 속성 제거 - style 인라인 속성 제거 - href, src, class, id 등 유용한 속성은 유지 Args: html: 정리할 HTML 문자열. Returns: 정리된 HTML 문자열. z//onrVunicode)encodingzutf-8)flags)lxmlrY fromstring _CLEAN_TAGSxpath getparentriterattriblower startswithtostringr/r&decoder<rorp IGNORECASEDOTALL_EVENT_HANDLER_PATTERN_STYLE_ATTR_PATTERN) rYdocr`raparentattrattribs_to_removerawrCs r clean_htmlrs !ii""4( (C Bse*- ()%MM$' ( (HHJ &D!%! 0G0G0MQUQ[Q[Q]ahQh! !* &KK% &  &ii  y 9'S1c 8;zz'7J !   C66SEC5*mmbii/ D &))"d3"&&r40  s8AD.6D. 7D)D) A D.D.)D..BF21F2)NN)rM)T)"r%rror=typingrr lxml.htmlr{rnbs4rrr<boolr1r&r'rErPdictrS__annotations__rTr\rbrirrcompilerrrr}rr(rrrsb &"&"\ &) & &*#'#' 2 22C=2C= 2  2tA) 0c3s8m,  0S 0S 0 5  c c 3dc6$4MM!bjj,MM 5 2S2S2r