Ri{ U d Z ddlZddlZddlZddlZddlZddlmZ ddl m
Z
m Z ddl Z ee
j j j j Zej" j% d eedz dZe e
ed< ej, j/ d eedz dz ZeBej2 6ej, j5 e Zej2 j7 e ddl Z ddl Z ddl Z!dd l m"Z"m#Z#m$Z$m%Z%m&Z&m'Z' dd
l m(Z( dd l m)Z)m*Z* d Z+d
Z,dZ-dZ.dZ/ d#dedede0de
fdZ1de
de
de2e
fdZ3 G d d Z4 G d d Z5 G d d Z6 G d d Z7 G d! d" Z8y# e $ r Y w xY w)$ui
통합 테스트: test_crawl_integration.py
browser.py + crawl_utils + insurance_crawler + insurance_spider 모듈 간
통합 호환성을 검증하는 테스트 스위트.
주의:
- 외부 네트워크 호출 금지 (모든 테스트는 로컬 HTML fixture 사용).
- 합법적 공개 데이터(보험사 공시 페이지 등)만을 대상으로 합니다.
N)Path)AnyOptionalscripts _browser_modbrowserz
browser.py) ProxyRotator
clean_htmlfetch_with_retryget_resource_block_typeshtml_to_markdownis_proxy_errorInsuranceCrawler)InsuranceSpiderResponseHistoryu
화재보험
50000
자동차보험
100000
생명보험
30000
다음
u
| 보험명 | 보험료 | 가입기간 |
|---|
| 화재보험 | 50000 | 1년 |
| 자동차보험 | 100000 | 1년 |
u
보험 공시 정보
화재보험
u. 보험 정보
htmlurlstatusreturnc D ddl m} || |d }||_ i |_ |S )uG Selector를 Response 대용으로 사용 (Response는 Selector 상속).r )SelectorF)r adaptive)scrapling.parserr r meta)r r r r sels U/home/jay/workspace/.worktrees/task-2117-dev1/scripts/tests/test_crawl_integration.py_make_mock_responser j s( *
4S5
1CCJCH J spiderresponsec p K g }| j | 2 3 d{ }|j | 7 6 |S w)u9 parse() async generator의 결과를 리스트로 수집.N)parseappend)r! r" resultsitems r _collect_parse_resultsr( x s= G ll8, dt , Ns 6313636c e Zd ZdZddZddZddZddZddZddZ dd Z
dd
Z dd Z dd Z
dd
ZddZddZddZddZddZddZddZy)TestImportCompatibilityu@ 모든 모듈이 충돌 없이 import 가능한지 검증한다.Nc t J d y)u< browser.py가 importlib으로 정상 로드되어야 한다.Nu+ browser.py를 로드하지 못했습니다.)r selfs r test_browser_module_loadedz2TestImportCompatibility.test_browser_module_loaded s 'V)VV'r c 8 t J t t d sJ y)u9 browser.py에 STEALTH_ARGS 변수가 존재해야 한다.N STEALTH_ARGSr hasattrr, s r test_browser_stealth_args_existsz8TestImportCompatibility.test_browser_stealth_args_exists '''|^444r c 8 t J t t d sJ y)u9 browser.py에 HARMFUL_ARGS 변수가 존재해야 한다.N HARMFUL_ARGSr1 r, s r test_browser_harmful_args_existsz8TestImportCompatibility.test_browser_harmful_args_exists r4 r c J t J t t j sJ y)uE browser.py의 generate_stealth_headers가 호출 가능해야 한다.N)r callablegenerate_stealth_headersr, s r .test_browser_generate_stealth_headers_callablezFTestImportCompatibility.test_browser_generate_stealth_headers_callable s" ''' ==>>>r c J t J t t j sJ y)u? browser.py의 get_google_referer가 호출 가능해야 한다.N)r r9 get_google_refererr, s r (test_browser_get_google_referer_callablez@TestImportCompatibility.test_browser_get_google_referer_callable s" ''' 77888r c J t J t t j sJ y)uD browser.py의 create_resource_blocker가 호출 가능해야 한다.N)r r9 create_resource_blockerr, s r -test_browser_create_resource_blocker_callablezETestImportCompatibility.test_browser_create_resource_blocker_callable s" ''' <<===r c 8 t J t t d sJ y)uC browser.py에 BLOCKED_RESOURCE_TYPES 변수가 존재해야 한다.NBLOCKED_RESOURCE_TYPESr1 r, s r *test_browser_blocked_resource_types_existszBTestImportCompatibility.test_browser_blocked_resource_types_exists s '''|%=>>>r c t J y)u7 crawl_utils.ProxyRotator가 import 가능해야 한다.N)r r, s r )test_crawl_utils_proxy_rotator_importablezATestImportCompatibility.test_crawl_utils_proxy_rotator_importable s '''r c & t t sJ y)u9 crawl_utils.is_proxy_error가 import 가능해야 한다.N)r9 r r, s r *test_crawl_utils_is_proxy_error_importablezBTestImportCompatibility.test_crawl_utils_is_proxy_error_importable s '''r c & t t sJ y)u; crawl_utils.fetch_with_retry가 import 가능해야 한다.N)r9 r r, s r ,test_crawl_utils_fetch_with_retry_importablezDTestImportCompatibility.test_crawl_utils_fetch_with_retry_importable ()))r c & t t sJ y)uC crawl_utils.get_resource_block_types가 import 가능해야 한다.N)r9 r r, s r 4test_crawl_utils_get_resource_block_types_importablezLTestImportCompatibility.test_crawl_utils_get_resource_block_types_importable s 0111r c & t t sJ y)u; crawl_utils.html_to_markdown가 import 가능해야 한다.N)r9 r
r, s r ,test_crawl_utils_html_to_markdown_importablezDTestImportCompatibility.test_crawl_utils_html_to_markdown_importable rK r c & t t sJ y)u5 crawl_utils.clean_html이 import 가능해야 한다.N)r9 r
r, s r &test_crawl_utils_clean_html_importablez>TestImportCompatibility.test_crawl_utils_clean_html_importable s
###r c t J y)uA insurance_crawler.InsuranceCrawler가 import 가능해야 한다.Nr r, s r !test_insurance_crawler_importablez9TestImportCompatibility.test_insurance_crawler_importable s +++r c t J y)u? insurance_spider.InsuranceSpider가 import 가능해야 한다.N)r r, s r test_insurance_spider_importablez8TestImportCompatibility.test_insurance_spider_importable ***r c t J y)u? insurance_spider.ResponseHistory가 import 가능해야 한다.N)r r, s r test_response_history_importablez8TestImportCompatibility.test_response_history_importable rV r c P t j }t j }||u sJ y)uM crawl_utils와 insurance_crawler 사이에 이름 충돌이 없어야 한다.N) crawl_utilsr _insurance_crawler_mod)r- cu_ProxyRotatoric_ProxyRotators r %test_no_name_conflict_between_modulesz=TestImportCompatibility.test_no_name_conflict_between_modules s( &220== /111r c X t t usJ t t usJ t t usJ y)u7 각 모듈은 서로 다른 모듈 객체여야 한다.N)r[ _insurance_spider_modrZ r, s r !test_all_modules_distinct_objectsz9TestImportCompatibility.test_all_modules_distinct_objects s- %-BBBB%[888$K777r r N)__name__
__module__ __qualname____doc__r. r3 r7 r; r> rA rD rF rH rJ rM rO rQ rS rU rX r^ ra r r r* r* s` JW5
5
?
9
>
?
((*2*$,++28r r* c p e Zd ZdZddZddZddZddZddZddZ dd Z
dd
Z dd Z dd Z
dd
ZddZy)TestInterfaceConsistencyuV 함수 인터페이스가 모듈 간에 일관성 있게 연결되는지 검증한다.Nc T t J t t j t sJ y)u4 browser.py의 STEALTH_ARGS는 tuple이어야 한다.N)r
isinstancer0 tupler, s r test_stealth_args_is_tuplez3TestInterfaceConsistency.test_stealth_args_is_tuple $ ''',33U;;;r c T t J t t j t sJ y)u4 browser.py의 HARMFUL_ARGS는 tuple이어야 한다.N)r rk r6 rl r, s r test_harmful_args_is_tuplez3TestInterfaceConsistency.test_harmful_args_is_tuple rn r c T t J t t j t sJ y)u< browser.py의 BLOCKED_RESOURCE_TYPES는 set이어야 한다.N)r rk rC setr, s r "test_blocked_resource_types_is_setz;TestInterfaceConsistency.test_blocked_resource_types_is_set s$ ''',==sCCCr c x ddg}t | }|j J t |j t sJ y)u` InsuranceCrawler가 proxy_list로 생성할 때 crawl_utils.ProxyRotator를 사용해야 한다.zhttp://proxy1:8080zhttp://proxy2:8080
proxy_listN)r
proxy_rotatorrk r )r- proxiescrawlers r :test_insurance_crawler_uses_proxy_rotator_from_crawl_utilszSTestInterfaceConsistency.test_insurance_crawler_uses_proxy_rotator_from_crawl_utils s? ')=>"g6$$000'// >>>r c z t }d}|j | }t |t sJ d|v sJ d|vsJ y)ua InsuranceCrawler.to_llm_input()은 clean_html→html_to_markdown 파이프라인을 사용한다.u3 보험 공시 정보
u 보험 공시 정보evil()N)r to_llm_inputrk str)r- ry r results r ?test_insurance_crawler_clean_html_and_html_to_markdown_pipelinezXTestInterfaceConsistency.test_insurance_crawler_clean_html_and_html_to_markdown_pipeline sK "$D%%d+&#&&&%///v%%%r c r t dg }t |d sJ t |j t sJ y)uV InsuranceSpider 인스턴스에 _crawler 속성(InsuranceCrawler)이 있어야 한다.https://example.com
start_urls_crawlerNr r2 rk r r r- r! s r +test_insurance_spider_has_crawler_attributezDTestInterfaceConsistency.test_insurance_spider_has_crawler_attribute 5 -B,CDvz***&//+;<<((* **F|&99H LL "??$ $$ % % %s A5B00B9c X t J t d }t j }||k( sJ y)uf crawl_utils.get_resource_block_types('default')와 browser.BLOCKED_RESOURCE_TYPES가 같아야 한다.Ndefault)r r rC )r-
default_types
browser_typess r ?D dD) ))t9> !>
" " "s
5A9D88Ec t d}t | }d|vsJ t |d }t |t sJ d|v sJ y)uR clean_html() → html_to_markdown() 파이프라인이 정상 동작해야 한다.u? 보험 정보
r| F) remove_noiseu
보험 정보N)r
r
rk r~ )r- raw_htmlcleanedmarkdowns r .test_clean_html_then_html_to_markdown_pipelinezFTestDataFlowIntegration.test_clean_html_then_html_to_markdown_pipeline sI T X&w&&&#G%@(C((( (***r c ddg}t | }|j J |j j }|j j }|dk( sJ |dk( sJ y)u[ InsuranceCrawler에 proxy_list 전달 시 ProxyRotator가 올바르게 동작해야 한다.zhttp://p1:8080zhttp://p2:8080ru N)r rw get_next)r- rx ry firstseconds r *test_proxy_rotator_round_trip_with_crawlerzBTestDataFlowIntegration.test_proxy_rotator_round_trip_with_crawler so #%56"g6$$000%%..0&&//1(((())))r c > dddddd}t dg| }t t d
}t j t || }|D cg c] }t
|t s| }}t | d k\ sJ t d |D sJ |d
d d k( sJ yc c}w )uH Spider parse CSS 모드 전체 플로우: HTML → parse → dict items.r r r r r r r r z https://example.com/productsr r c 3 $ K | ] }d |v
yw) _source_urlNrg ).0r' s r zOTestDataFlowIntegration.test_spider_parse_css_mode_full_flow.. s ;T=D(;s r r N)
r r r r r r( rk r r allr s r $test_spider_parse_css_mode_full_flowz":+*Ir r c P e Zd ZdZd dZd dZd dZd dZd dZd dZ d d Z
d d
Z y) TestSpiderCrawlerIntegrationu> InsuranceSpider와 InsuranceCrawler의 연동을 검증한다.Nc r t dg }t |d sJ t |j t sJ y)uP InsuranceSpider 초기화 시 InsuranceCrawler가 내부 생성되어야 한다.r r r Nr r s r 5test_spider_init_creates_insurance_crawler_internallyzRTestSpiderCrawlerIntegration.test_spider_init_creates_insurance_crawler_internally r r c R t dg }|j j du sJ y)uR InsuranceSpider 내부의 _crawler는 adaptive=False로 초기화되어야 한다.r r FN)r r r r s r "test_spider_crawler_adaptive_falsez?TestSpiderCrawlerIntegration.test_spider_crawler_adaptive_false s( -B,CD''5000r c L ddddid}t dg| }|j J |j d dk( sJ t t }t j
t
|| }|D cg c] }t |t s| }}t | d
k\ sJ d|d v sJ yc c}w ) ud extraction_config mode=css 전달 시 parse()에서 extract_with_selector가 선택되어야 한다.r r r r r r r Nr r r )
r r r r r r r( rk r r r s r Dtest_spider_extraction_config_css_mode_selects_extract_with_selectorzaTestSpiderCrawlerIntegration.test_spider_extraction_config_css_mode_selects_extract_with_selector s & w'
!-. $
''333''/5888&}5++ 4VX FG #;qz!T':;;5zQ q!!! test_spider_extraction_config_table_mode_selects_extract_tablez[TestSpiderCrawlerIntegration.test_spider_extraction_config_table_mode_selects_extract_table s !W= -. $
'z2++ 4VX FG #;qz!T':;;5zQ eAh&'U1X*===*=& . s P11U8 >>Ps N)
r r r r r r( r r r any)r- r r! r" r s r -test_spider_response_history_records_on_parsezJTestSpiderCrawlerIntegration.test_spider_response_history_records_on_parse s PWGXY -. $
'}:YZ *68<=))5577|q PPPPPr c t j 5 }t | dz }t dgt | }t j |j d |j sJ ddd y# 1 sw Y yxY w)u; on_start() 실행 후 output_dir이 생성되어야 한다.
spider_outr r
output_dirFresumingN) r r r r r~ r r on_startr )r- r r r! s r 'test_spider_on_start_creates_output_dirzDTestSpiderCrawlerIntegration.test_spider_on_start_creates_output_dir
su
(
(
* 'f f 4J$ 12 z?F
KK7 8 $$& && ' ' 's A A<<Bc | t j 5 }t dg| }|j j dd t j |j d t j |j t | dz }|j sJ ddd y# 1 sw Y yxY w)u[ on_close() 실행 후 response_history.json 파일이 output_dir에 저장되어야 한다.r r r Fr zresponse_history.jsonN) r r r r r r r r on_closer r )r- r r! history_files r 'test_spider_on_close_saves_history_filezDTestSpiderCrawlerIntegration.test_spider_on_close_saves_history_file s
(
(
* )f$ 12!F
# # * *+@# F KK7 8 KK) * <*AAL &&( (( ) ) )s BB22B;rb ) rc rd re rf r r r r r
r r r rg r r r r s. H= 1
"& > ) Q ' )r r c e Zd ZdZddZddZddZddZddZddZ dd Z
dd
Z dd Z dd Z
dd
ZddZddZddZddZddZy)
TestEdgeCasesu^ 경계 조건 및 예외 상황에서 각 모듈이 안전하게 동작하는지 검증한다.Nc t d }|j t }|j |dddi }|g k( sJ y)uO 빈 HTML에서 extract_with_selector()는 빈 리스트를 반환해야 한다.Fr r r r r N)r r$
HTML_EMPTYr r s r 8test_empty_html_extract_with_selector_returns_empty_listzFTestEdgeCases.test_empty_html_extract_with_selector_returns_empty_list. sK "E2}}Z(.. #G$ /
||r c v t d }|j t }|j | }|g k( sJ y)uG 빈 HTML에서 extract_table()은 빈 리스트를 반환해야 한다.Fr N)r r$ r r r s r 0test_empty_html_extract_table_returns_empty_listz>TestEdgeCases.test_empty_html_extract_table_returns_empty_list9 s6 "E2}}Z(&&t,||r c t }|j t }t |t sJ |j dk( sJ y)uF 빈 HTML에서 to_llm_input()은 빈 문자열을 반환해야 한다.r N)r r} r rk r~ stripr s r 1test_empty_html_to_llm_input_returns_empty_stringz?TestEdgeCases.test_empty_html_to_llm_input_returns_empty_string@ s> "$%%j1&#&&&||~###r c 8 t d }|j J y)uM proxy_list=None이면 InsuranceCrawler.proxy_rotator는 None이어야 한다.Nru )r rw r- ry s r 2test_none_proxy_list_crawler_proxy_rotator_is_nonez@TestEdgeCases.test_none_proxy_list_crawler_proxy_rotator_is_noneG s "d3$$,,,r c < t d }|j du sJ y)uE adaptive=False이면 InsuranceCrawler.adaptive가 False여야 한다.Fr N)r r r( s r +test_adaptive_false_disables_smart_matchingz9TestEdgeCases.test_adaptive_false_disables_smart_matchingL s "E2 5(((r c ddddid}t dg| }t t d }t j t || }|D cg c] }t
|t s| }}t | d k( sJ y
c c}w ) uK 빈 HTML에서 Spider.parse()는 아이템을 yield하지 않아야 한다.r r r r r r r r r N) r r r r r r( rk r r r s r -test_empty_html_spider_parse_returns_no_itemsz;TestEdgeCases.test_empty_html_spider_parse_returns_no_itemsQ s} PWGXY -. $
'z7LM++ 4VX FG #;qz!T':;;5zQ TestEdgeCases.test_nonexistent_css_selector_returns_empty_list] sK "E2}}]+.. *G$ /
||r c v t d }|j t }|j | }|g k( sJ y)uW 테이블이 없는 HTML에서 extract_table()은 빈 리스트를 반환해야 한다.Fr N)r r$ HTML_SIMPLEr r s r test_no_table_returns_empty_listz.TestEdgeCases.test_no_table_returns_empty_listh s6 "E2}}[)&&t,||r c H t }|j d }|g k( sJ y)uN 빈 ResponseHistory에서 get_chain()은 빈 리스트를 반환해야 한다.r N)r r r s r 3test_response_history_empty_get_chain_returns_emptyzATestEdgeCases.test_response_history_empty_get_chain_returns_emptyo s' !#""#89||r c j t }|j dd |j t j 5 }t | dz }|j
| |j sJ t j |j d }|g k( sJ ddd y# 1 sw Y yxY w)uN clear() 후 save()하면 빈 배열([]) JSON 파일이 생성되어야 한다.r r z
empty.jsonr r N) r r clearr r r r r r r r )r- r r r r s r 0test_response_history_clear_then_save_empty_filez>TestEdgeCases.test_response_history_clear_then_save_empty_fileu s !#,c2
(
(
* f<,.D LL ;;= =::dnngn >?D2: : s
A B))B2c ` t J t j }t |t sJ y)uB browser.generate_stealth_headers()는 dict를 반환해야 한다.N)r r: rk r r- r s r *test_generate_stealth_headers_returns_dictz8TestEdgeCases.test_generate_stealth_headers_returns_dict s, ''' 668&$'''r c l t J t j }t |t sJ d|v sJ y)uL browser.get_google_referer()는 Google URL 문자열을 반환해야 한다.Nz
google.com)r r= rk r~ r9 s r *test_get_google_referer_returns_google_urlz8TestEdgeCases.test_get_google_referer_returns_google_url s: ''' 002&#&&&v%%%r c V t J t j }t | sJ y)uT browser.create_resource_blocker()는 호출 가능한 함수를 반환해야 한다.N)r r@ r9 )r- handlers r -test_create_resource_blocker_returns_callablez;TestEdgeCases.test_create_resource_blocker_returns_callable s* ''' 668 r c z t d }|j t }|j |d }|g k( sJ y)ul 존재하지 않는 reference_selector로 extract_similar() 호출 시 빈 리스트를 반환해야 한다.Fr z.nonexistent-ref)r N)r r$ r extract_similarr s r 8test_extract_similar_nonexistent_reference_returns_emptyzFTestEdgeCases.test_extract_similar_nonexistent_reference_returns_empty s< "E2}}]+((BT(U||r c > t g }|j J y)uT 빈 proxy_list로 ProxyRotator 생성 시 get_next()는 None을 반환해야 한다.N)r r )r- rotators r *test_proxy_rotator_empty_list_returns_nonez8TestEdgeCases.test_proxy_rotator_empty_list_returns_none s! r" !)))r c t dgd }t t }t j t || }|D cg c] }t
|t s| }}t | dk( sJ yc c}w )uR extraction_config=None이면 parse()는 아이템을 yield하지 않아야 한다.r Nr r r )r- r! r" r& r r s r 1test_spider_extraction_config_none_yields_nothingz?TestEdgeCases.test_spider_extraction_config_none_yields_nothing sh -. "
'}5++ 4VX FG #;qz!T':;;5zQ r_ s
(^
#
#
%
,
,
3
3
:
:
3zI-. / # hsm " NN 2 29c*yBX[gBg>h iE U\\ 5 ~~66u=
. 2 0 / =
(
?
%
S T8 T8xk k fgI gI^`) `)P~ ~ Q s A,E= =FF