(++GmL!%9999rctJtjdgd}|jdk(sJ|jdk(sJy)uQ프록시가 1개일 때 round_robin은 계속 같은 값을 반환해야 한다.Nzhttp://only-proxy:8080rrrrrs r#test_round_robin_single_proxy_loopsz>TestProxyRotatorRoundRobin.test_round_robin_single_proxy_loops>sW'''++-E,FQ^_!%====!%====rreturnN)__name__ __module__ __qualname____doc___skip_if_missingrrr!rrr r %s?7::::>>rr c4eZdZdZeddZeddZy)TestProxyRotatorRandomu(ProxyRotator의 random 전략 테스트.NctJgd}tj|d}tdD]}|j}||vrJy)uKrandom 전략은 항상 프록시 목록 중 하나를 반환해야 한다.Nr randomr)rrranger)rrr_results r*test_random_strategy_returns_value_in_listzATestProxyRotatorRandom.test_random_strategy_returns_value_in_listPsZ'''  ++GhGr %A%%'FW$ $$ %rctJddg}tj|d}tdDchc]}|j}}|j t |sJycc}w)uHrandom 전략 호출 결과가 항상 프록시 풀에 속해야 한다.Nz http://a:1z http://b:2r-r2)rrr/rissubsetset)rrrr0resultss r1test_random_strategy_multiple_calls_are_from_poolzHTestProxyRotatorRandom.test_random_strategy_multiple_calls_are_from_pool_si'''.++GhG/4Ry9!7##%99G ---:sA'r")r$r%r&r'r(r2r8r)rrr+r+Ms+2 % %..rr+cFeZdZdZeddZeddZeddZy)TestProxyRotatorEmptyListu6ProxyRotator 빈 리스트 엣지 케이스 테스트.NcbtJtjg}|jJy)uH빈 프록시 리스트에서 get_next()는 None을 반환해야 한다.Nrr s r%test_empty_list_get_next_returns_nonez?TestProxyRotatorEmptyList.test_empty_list_get_next_returns_noners5'''++B/!)))rc^tJtjg}t|dk(sJy)u6빈 프록시 리스트의 len()은 0이어야 한다.Nrrrlenr s rtest_empty_list_len_is_zeroz5TestProxyRotatorEmptyList.test_empty_list_len_is_zerozs2'''++B/7|q   rcftJtjgd}|jJy)uGrandom 전략에서도 빈 리스트이면 None을 반환해야 한다.Nr-rrr s r,test_empty_list_random_strategy_returns_nonezFTestProxyRotatorEmptyList.test_empty_list_random_strategy_returns_nones7'''++BB!)))rr")r$r%r&r'r(r<r@rBr)rrr:r:os?@**!!**rr:cjeZdZdZeddZeddZeddZeddZeddZ y) TestProxyRotatorRemoveAndLenu-ProxyRotator remove()와 __len__() 테스트.NctJgd}tj|}t|dk(sJ|jdt|dk(sJy)u,remove() 후 len()이 1 감소해야 한다.Nr r)rrr?removers rtest_remove_decreases_lenz6TestProxyRotatorRemoveAndLen.test_remove_decreases_lensV'''T++G47|q   +,7|q   rctJddg}tj|d}|jdtdD]}|j dk7rJy)uOremove()된 프록시는 이후 get_next()에서 반환되지 않아야 한다.Nr rrr )rrrHr/r)rrrr0s r"test_remove_excluded_from_rotationz?TestProxyRotatorRemoveAndLen.test_remove_excluded_from_rotationse'''')=>++GmL+,r >A##%)== == >rctJdg}tj|}|jd|jJt |dk(sJy)uK모든 프록시를 제거하면 get_next()는 None을 반환해야 한다.Nr r)rrrHrr?rs r!test_remove_all_proxies_then_nonez>TestProxyRotatorRemoveAndLen.test_remove_all_proxies_then_nones\''''(++G4+,!)))7|q   rctJtjdg}|jdt|dk(sJy)uO존재하지 않는 프록시 remove()는 예외 없이 처리되어야 한다.Nr zhttp://nonexistent:9999)rrrHr?r s r%test_remove_nonexistent_proxy_is_safezBTestProxyRotatorRemoveAndLen.test_remove_nonexistent_proxy_is_safesE'''++-A,BC 017|q   rcftJgd}tj|}t|dk(sJy)uBlen()이 초기 프록시 리스트 개수와 일치해야 한다.N)z http://p1:1z http://p2:2z http://p3:3z http://p4:4r>rs rtest_len_reflects_initial_countz > ! !!!!!rrDceZdZdZed dZed dZed dZed dZed dZ ed dZ ed d Z y) TestIsProxyErroru"is_proxy_error() 함수 테스트.Nc\tJtd}tj|dusJy)u/ConnectionError는 True를 반환해야 한다.NzConnection refusedT)rConnectionErroris_proxy_errorrerrs r"test_connection_error_returns_truez3TestIsProxyError.test_connection_error_returns_trues4'''23**3/4777rc\tJtd}tj|dusJy)u,TimeoutError는 True를 반환해야 한다.NzRequest timed outT)r TimeoutErrorrYrZs rtest_timeout_error_returns_truez0TestIsProxyError.test_timeout_error_returns_trues4'''./**3/4777rc\tJtd}tj|dusJy)u2일반 ValueError는 False를 반환해야 한다.Nz Invalid valueF)r ValueErrorrYrZs rtest_value_error_returns_falsez/TestIsProxyError.test_value_error_returns_falses3''')**3/5888rc\tJtd}tj|dusJy)u1일반 Exception은 False를 반환해야 한다.NzSome generic errorF)r ExceptionrYrZs r$test_generic_exception_returns_falsez5TestIsProxyError.test_generic_exception_returns_falses4''',-**3/5888rc\tJtd}tj|dusJy)uNOSError(ConnectionError의 부모)는 프록시 오류로 판별해야 한다.NzNetwork unreachableT)rOSErrorrYrZs rtest_os_error_returns_truez+TestIsProxyError.test_os_error_returns_trues4'''+,**3/4777rctJtd}t}d|_t |d|tj |dusJy)uA404 상태를 가진 HTTP 오류는 False를 반환해야 한다.Nz 404 Not FoundiresponseFrrdr status_codesetattrrYrhttp_err mock_resps r!test_http_error_404_returns_falsez2TestIsProxyError.test_http_error_404_returns_falsesN'''_-K # *i0**84===rctJtd}t}d|_t |d|tj |dusJy)uS500 서버 오류는 프록시 오류가 아니므로 False를 반환해야 한다.Nz500 Internal Server ErrorirjFrkrns r!test_http_error_500_returns_falsez2TestIsProxyError.test_http_error_500_returns_falsesO'''89K # *i0**84===rr") r$r%r&r'r(r\r_rbrerhrqrsr)rrrVrVs,8888999988>>>>rrVcjeZdZdZeddZeddZeddZeddZeddZ y) TestFetchWithRetryu$fetch_with_retry() 함수 테스트.NctJt}d|_t}||j_t|}tj dd|}||k(sJ|jj dk(sJy)uE첫 번째 시도에서 성공하면 Response를 반환해야 한다.N return_valuehttps://example.comrF max_retries fetcher_classrP)rrrlfetchryfetch_with_retry call_countr mock_responsemock_fetcher_instanceMockFetcherClassr1s rtest_success_on_first_attemptz0TestFetchWithRetry.test_success_on_first_attempts'''! $' ! ) 3@##0$2GH.. !*  &&&$**55:::rctJt}d|_t}td|g|j_t|}tj dd|}||k(sJ|jjdk(sJy) uO연결 오류 후 재시도에서 성공하면 Response를 반환해야 한다.Nrwz proxy downrxrzrFr{rG)rrrlrXr~ side_effectrrrs r.test_retries_on_connection_error_then_succeedszATestFetchWithRetry.test_retries_on_connection_error_then_succeeds/s'''! $' ! )  L ) 3 ##/ %2GH.. !*  &&&$**55:::rc6tJt}td|j_t|}t j t5tjdd|ddd|jjdk(sJy#1swY%xYw)uC모든 재시도 실패 시 마지막 예외를 raise해야 한다.Nz always failsrxrzrFr{) rrrXr~rpytestraisesrr)rrrs r1test_raises_last_exception_after_all_retries_failzDTestFetchWithRetry.test_raises_last_exception_after_all_retries_failGs''' ) 2A.2Q##/$2GH ]]? +   ) )%.  %**55:::  s BBc8tJt}d|_t}td|g|j_t|}t}d|j _tjdd|||j jd k\sJy) u@재시도 시 ProxyRotator.get_next()가 호출되어야 한다.Nrwzfirst proxy downrxzhttp://new-proxy:8080rzrFr| proxy_rotatorr}rP) rrrlrXr~rrryrr)rrrr mock_rotators r test_proxy_rotator_used_on_retryz3TestFetchWithRetry.test_proxy_rotator_used_on_retryYs'''! $' ! )  . / 3 ##/ %2GH { -D *%% !&*  $$//1444rc:tJt}d|_t}td|g|j_t|}t}d}||j _tjdd|||jjy) uU프록시 오류 발생 시 해당 프록시가 rotator에서 제거되어야 한다.Nrwz proxy errorrxzhttp://bad-proxy:8080rzrFr) rrrlrXr~rrryrrH assert_called)rrrrr bad_proxys r!test_proxy_removed_on_proxy_errorz4TestFetchWithRetry.test_proxy_removed_on_proxy_errorts'''! $' ! )  M * 3 ##/ %2GH { + -6 *%% !&*   ))+rr") r$r%r&r'r(rrrrrr)rrrurusg.;;(;;.;;"554,,rruceZdZdZed dZed dZed dZed dZed dZ ed dZ ed d Z ed d Z y) TestGetResourceBlockTypesu,get_resource_block_types() 함수 테스트.NctJtjd}t|tsJd|vsJd|vsJd|vsJd|vsJd|vsJy)uRdefault 프리셋은 image, font, media, stylesheet, other를 포함해야 한다.Ndefaultimagefontmedia stylesheetotherrget_resource_block_types isinstancer6rr1s r*test_default_preset_returns_expected_typeszDTestGetResourceBlockTypes.test_default_preset_returns_expected_typessv'''66yA&#&&&&   &   v%%%&   rcJtJtjd}d|vsJy)uCdefault 프리셋에는 websocket이 포함되지 않아야 한다.Nr websocketrrrs r&test_default_preset_excludes_websocketz@TestGetResourceBlockTypes.test_default_preset_excludes_websockets.'''66yA&(((rcbtJtjd}d|vsJd|vsJd|vsJy)u?minimal 프리셋은 image, font, media만 포함해야 한다.Nminimalrrrrrs r*test_minimal_preset_returns_expected_typeszDTestGetResourceBlockTypes.test_minimal_preset_returns_expected_typessJ'''66yA&   &   rcJtJtjd}d|vsJy)uDminimal 프리셋에는 stylesheet가 포함되지 않아야 한다.Nrrrrs r'test_minimal_preset_excludes_stylesheetzATestGetResourceBlockTypes.test_minimal_preset_excludes_stylesheets.'''66yA6)))rctJtjd}t|tsJd|vsJd|vsJd|vsJd|vsJd|vsJd|vsJd |vsJy) u[aggressive 프리셋은 websocket, manifest를 포함한 모든 타입을 가져야 한다.N aggressiverrrrrrmanifestrrs r)test_aggressive_preset_includes_all_typeszCTestGetResourceBlockTypes.test_aggressive_preset_includes_all_typess'''66|D&#&&&&   &   v%%%&   f$$$V###rctJtjd}tjd}t|t|kDsJy)uOaggressive 프리셋은 default보다 더 많은 타입을 포함해야 한다.Nrr)rrr?)rrrs r+test_aggressive_has_more_types_than_defaultzETestGetResourceBlockTypes.test_aggressive_has_more_types_than_defaultsF'''!::<H 77 B:W---rcttJtj}tjd}||k(sJy)uX인자 없이 호출하면 default 프리셋과 동일한 결과를 반환해야 한다.Nrr)r result_no_argresult_defaults rtest_no_arg_uses_default_presetz9TestGetResourceBlockTypes.test_no_arg_uses_default_presets<'''$==? %>>yI...rctJdD]1}tj|}t|tr)J|dy)u2반환값은 반드시 set 타입이어야 한다.N)rrru, 프리셋의 반환 타입이 set이 아님r)rpresetr1s rtest_returns_set_typez/TestGetResourceBlockTypes.test_returns_set_typesN''': dF!::6BFfc* cvh6b,c c* drr") r$r%r&r'r(rrrrrrrrr)rrrrs6 ! !))!!** $ $..//ddrrceZdZdZed dZed dZed dZed dZed dZ ed dZ ed d Z ed d Z ed d Z ed d Zy)TestHtmlToMarkdownu$html_to_markdown() 함수 테스트.NcZtJd}tj|}d|vsJd|vsJy)u<h1 태그는 Markdown # 제목으로 변환되어야 한다.Nu

제목

u제목#rhtml_to_markdownrhtmlr1s rtest_basic_heading_conversionz0TestHtmlToMarkdown.test_basic_heading_conversions?''' ..t46!!!f}}rcNtJd}tj|}d|vsJy)u:p 태그의 텍스트는 결과에 포함되어야 한다.Nu!

본문 텍스트입니다.

u본문 텍스트입니다.rrs rtest_paragraph_conversionz,TestHtmlToMarkdown.test_paragraph_conversions3'''2..t4+v555rcZtJd}tj|}d|vsJd|vsJy)u@a 태그는 Markdown 링크 형식으로 변환되어야 한다.N(링크u링크rzrrs rtest_anchor_tag_conversionz-TestHtmlToMarkdown.test_anchor_tag_conversionsA'''9..t46!!!$...rc^tJd}tj|d}d|vsJd|vsJy)uEremove_noise=True 시 script 태그 내용이 제거되어야 한다.Nu+

본문

T remove_noisealertu본문rrs r%test_remove_noise_removes_script_tagsz8TestHtmlToMarkdown.test_remove_noise_removes_script_tagssC'''<..t$Gf$$$6!!!rc^tJd}tj|d}d|vsJd|vsJy)uDremove_noise=True 시 style 태그 내용이 제거되어야 한다.Nu0

내용

Trz color: redu내용rrs r$test_remove_noise_removes_style_tagsz7TestHtmlToMarkdown.test_remove_noise_removes_style_tagssC'''A..t$G6)))6!!!rcRtJd}tj|d}d|vsJy)uGremove_noise=True 시 noscript 태그 내용이 제거되어야 한다.Nu.

텍스트

Tru JS 필요rrs r'test_remove_noise_removes_noscript_tagsz:TestHtmlToMarkdown.test_remove_noise_removes_noscript_tags(s5'''?..t$G&(((rc^tJd}tj|d}d|vsJd|vsJy)uBremove_noise=True 시 svg 태그 내용이 제거되어야 한다.Nu+

텍스트

Tr본문

Frz var x = 1rrs r$test_remove_noise_false_keeps_scriptz7TestHtmlToMarkdown.test_remove_noise_false_keeps_script=s5'''9..t%Hf$$$rcNtJd}tj|}d|vsJy)uI결과에 연속된 빈 줄이 3개 이상 이어지지 않아야 한다.Nz

A

B

C

z rrs rtest_no_excessive_blank_linesz0TestHtmlToMarkdown.test_no_excessive_blank_linesGs5''')..t4v%%%rcbtJtjd}t|tsJyu(반환값은 str 타입이어야 한다.Nz

hello

)rrrstrrs rtest_returns_stringz&TestHtmlToMarkdown.test_returns_stringRs0'''..~>&#&&&rr")r$r%r&r'r(rrrrrrrrrrr)rrrrs.66//""""))%%%%&&''rrceZdZdZed dZed dZed dZed dZed dZ ed dZ ed d Z ed d Z ed d Z ed d Zy) TestCleanHtmluclean_html() 함수 테스트.NcZtJd}tj|}d|vsJd|vsJy)u6script 태그와 그 내용이 제거되어야 한다.Nu%

본문

z내용

z

본문

z

텍스트

rrrs rtest_removes_svg_tagsz#TestCleanHtml.test_removes_svg_tagss3'''G((.V###rcZtJd}tj|}d|vsJd|vsJy)u)onclick 속성이 제거되어야 한다.Nz.onclickClickrrs rtest_removes_onclick_attributez,TestCleanHtml.test_removes_onclick_attributesA'''?((.&&&&   rcZtJd}tj|}d|vsJd|vsJy)u1style 인라인 속성이 제거되어야 한다.Nu5

텍스트

zstyle="u 텍스트rrs rtest_removes_style_attributez*TestCleanHtml.test_removes_style_attributesA'''F((.&&&f$$$rcNtJd}tj|}d|vsJy)u=태그 제거 후 텍스트 내용은 보존되어야 한다.Nu,

중요한 내용입니다.

u중요한 내용입니다.rrs rtest_preserves_text_contentz)TestCleanHtml.test_preserves_text_contents3'''=((.+v555rcZtJd}tj|}d|vsJd|vsJy)u-href 속성은 제거되지 않아야 한다.Nrhrefrzrrs rtest_preserves_href_attributez+TestCleanHtml.test_preserves_href_attributesA'''9((.$...rcbtJtjd}t|tsJyrrrrrrs rrz!TestCleanHtml.test_returns_strings0'''((8&#&&&rcbtJtjd}t|tsJy)u.빈 HTML 입력도 str을 반환해야 한다.Nrrs rtest_empty_html_returns_stringz,TestCleanHtml.test_empty_html_returns_strings0'''((,&#&&&rr")r$r%r&r'r(rrrrrrrrrrr)rrrr`s(&&))00$$!!%%66//''''rr)!r'syspathlibrtypesrtypingr unittest.mockrrpathinsertr__file__parentr__annotations__ crawl_utilsModuleNotFoundError_MISSINGmarkskipifr(r r+r:rDrVrurrrr)rrrs   # 3tH~,,3345&* hz") & 4 ;;%% P& > >P..D**B8!8!@?>?>Nw,w,~QdQdri'i'bg'g'U  s+C++C32C3