iNi U d Z ddlZddlZddlZddlZddlmZ ddlmZ ddl m
Z
m Z ddl m
Z
mZmZ ddlZej" j% d e ee j* j* dZe e ed< ddlZedu Zej6 j9 ed Z d
Z d Z d Z d!d
edede!de
fdZ"de
de
de#e
fdZ$ G d d Z% G d d Z& G d d Z' G d d Z( G d d Z) G d d Z*y# e$ r Y w xY w)"u TDD RED 단계: test_insurance_spider.py
Scrapling Spider ABC를 상속한 InsuranceSpider 클래스와
ResponseHistory 유틸리티에 대한 테스트 스위트.
(insurance_spider.py는 아직 구현되지 않음 - TDD RED 단계)
주의:
- 모든 테스트는 로컬에서 수행 (mock 사용). 외부 네트워크 호출 없음.
- 실제 크롤링 시 반드시 대상 사이트의 robots.txt를 확인하고 준수해야 합니다.
- 합법적 공개 데이터(보험사 공시 페이지 등)만을 대상으로 합니다.
N)Path)
ModuleType)AnyOptional) AsyncMock MagicMockpatch_insurance_spideruH insurance_spider.py 미구현 (TDD RED 단계 - 토르가 구현 예정))reasonu
화재보험
50000
자동차보험
100000
생명보험
30000
다음
u
| 보험명 | 보험료 | 가입기간 |
|---|
| 화재보험 | 50000 | 1년 |
| 자동차보험 | 100000 | 1년 |
z
htmlurlstatusreturnc D ddl m} || |d }||_ i |_ |S )u Selector를 Response 대용으로 사용 (Response는 Selector 상속).
추가 속성(status, meta)만 동적으로 붙인다.
r )SelectorF)r
adaptive)scrapling.parserr r meta)r r
r r sels T/home/jay/workspace/.worktrees/task-2116-dev1/scripts/tests/test_insurance_spider.pymake_mock_responser X s( *
4S5
1CCJCH J spiderresponsec p K g }| j | 2 3 d{ }|j | 7 6 |S w)u9 parse() async generator의 결과를 리스트로 수집.N)parseappend)r r resultsitems r collect_parse_resultsr i s= G ll8, dt , Ns 6313636c e Zd ZdZed d Zed d Zed d Zed d Zed d Z ed d Z
ed d Z ed d
Z y) TestResponseHistoryu$ ResponseHistory 클래스 테스트.Nc f t J t j }|j g k( sJ y)u: 기본 생성 시 히스토리가 비어 있어야 한다.N)r
ResponseHistory get_historyselfhistorys r test_default_initz%TestResponseHistory.test_default_inity s5 !,,,#335""$***r c t J t j }|j dd |j }t | dk( sJ |d d dk( sJ |d d dk( sJ y)u< record() 후 get_history()에 항목이 나타나야 한다.Nhttps://example.com r r
r r
r$ recordr% lenr' r( results r test_record_and_get_historyz/TestResponseHistory.test_record_and_get_history s| !,,,#335,c2$$&6{a ay #8888ay"c)))r c 6 t J t j }|j dd |j dd |j dd |j }t | dk( sJ |d d
dk( sJ |d d dk( sJ |d
d dk( sJ y)uM 여러 번 record() 시 모든 항목이 순서대로 보존되어야 한다.Nhttps://example.com/ar, https://example.com/b- zhttps://example.com/ci r r
r- r r. r1 s r test_record_multiple_entriesz0TestResponseHistory.test_record_multiple_entries s !,,,#335.4.4.4$$&6{a ay #::::ay"c)))ay"c)))r c t J t j }|j dd |j dd |j d }t | dk\ sJ t d |D sJ y)uE get_chain()은 특정 URL에 연결된 항목만 반환해야 한다.Nr5 r, r6 r7 r- c 3 , K | ] }|d dk( yw)r
r5 N ).0entrys r z@TestResponseHistory.test_get_chain_single_url.. s Nu5<#::Ns )r
r$ r/ get_chainr0 any)r' r( chains r test_get_chain_single_urlz-TestResponseHistory.test_get_chain_single_url sq !,,,#335.4.4!!"9:5zQ NNNNNr c t J t j }ddg}|j dd| |j d }t | dk\ sJ |d }d |v sJ |d |k( sJ y)
uL redirects 인자를 통해 리다이렉트 체인이 보존되어야 한다.Nzhttps://example.com/oldz https://example.com/redirectzhttps://example.com/newr, ) redirectsr- r rF )r
r$ r/ rA r0 )r' r( rF rC r? s r test_redirect_chain_preservedz1TestResponseHistory.test_redirect_chain_preserved s !,,,#335.0NO %
!!";<5zQ ae###[!Y...r c t J t j }ddd}|j dd| |j }t | dk( sJ |d j d
|k( sJ y) u3 headers 인자가 기록에 포함되어야 한다.Nz text/htmlvalue)z Content-TypezX-Customr+ r, )headersr- r rJ )r
r$ r/ r% r0 get)r' r( rJ r2 s r test_record_with_headersz,TestResponseHistory.test_record_with_headers sv !,,,#335#.GD,c7C$$&6{a ay}}Y'7222r c t J t j }|j dd |j dd t j 5 }t | dz }|j
t | |j sJ t j |j d }t |t sJ t | dk( sJ |d d
dk( sJ ddd y# 1 sw Y yxY w) u= save()는 히스토리를 JSON 파일로 저장해야 한다.Nr+ r, zhttps://example.com/page2z history.jsonzutf-8)encodingr9 r r
)r
r$ r/ tempfileTemporaryDirectoryr savestrexistsjsonloads read_text
isinstancelistr0 )r' r( tmpdirpathdatas r test_save_to_json_filez*TestResponseHistory.test_save_to_json_file s !,,,#335,c22C8
(
(
* ;f<.0D LLT #;;= =::dnngn >?D dD) ))t9> !>75>%:: :: ; ; ;s
BC..C7c t J t j }|j dd t |j dk( sJ |j |j g k( sJ y)u4 clear() 후 히스토리가 비어 있어야 한다.Nr+ r, r- )r
r$ r/ r0 r% clearr& s r
test_clearz TestResponseHistory.test_clear si !,,,#335,c27&&()Q...
""$***r r N)
__name__
__module__ __qualname____doc___skip_if_missingr) r3 r: rD rG rL r\ r_ r= r r r" r" v s .+ + * * * * O O / / 3 3 ; ; + +r r" c e Zd ZdZed d Zed d Zed d Zed d Zed d Z ed d Z
ed d Z ed d
Z y) TestInsuranceSpiderInitu$ InsuranceSpider 초기화 테스트.Nc R t J t j j dk( sJ y)u/ name 속성이 'insurance_spider'여야 한다.Ninsurance_spider)r
InsuranceSpidername)r' s r test_name_attributez+TestInsuranceSpiderInit.test_name_attribute s+ !,,, 00559KKKKr c t J t j dg }|j dk( sJ |j dk( sJ |j dk( sJ y)u\ concurrent_requests=4, concurrent_requests_per_domain=2, download_delay=1.0이어야 한다.Nr+
start_urls r9 g ?)r
rj concurrent_requests concurrent_requests_per_domaindownload_delayr' r s r !test_concurrent_requests_defaultsz9TestInsuranceSpiderInit.test_concurrent_requests_defaults s` !,,,"22?T>UV))Q...44999$$+++r c j t J ddg}t j | }|j |k( sJ y)u= 생성자에서 start_urls를 설정할 수 있어야 한다.Nr5 r6 rn )r
rj ro )r' urlsr s r test_start_urls_setz+TestInsuranceSpiderInit.test_start_urls_set s? !,,,')@A"22dC D(((r c n t J ddh}t j dg| }|j |k( sJ y)uB 생성자에서 allowed_domains를 설정할 수 있어야 한다.Nz example.comzinsurance.co.krr+ )ro allowed_domains)r
rj rz )r' domainsr s r test_allowed_domains_setz0TestInsuranceSpiderInit.test_allowed_domains_set sJ !,,, "34"22-. #
%%000r c t J t j dg }t |j t d k( sJ y)u7 output_dir 기본값은 'crawl_output'이어야 한다.Nr+ rn crawl_outputr
rj r
output_dirrt s r test_output_dir_defaultz/TestInsuranceSpiderInit.test_output_dir_default sB !,,,"22?T>UVF%%&$~*>>>>r c t J t j dgd }t |j t d k( sJ y)u= output_dir을 커스텀으로 설정할 수 있어야 한다.Nr+ z/tmp/test_outputro r r rt s r test_output_dir_customz.TestInsuranceSpiderInit.test_output_dir_custom
sJ !,,,"22-.)
F%%&$/A*BBBBr c ^ t J t j dg }|j J y)u4 extraction_config 기본값은 None이어야 한다.Nr+ rn r
rj extraction_configrt s r #test_extraction_config_default_nonez;TestInsuranceSpiderInit.test_extraction_config_default_none s6 !,,,"22?T>UV''///r c v t J ddddid}t j dg| }|j |k( sJ y) uD extraction_config를 딕셔너리로 설정할 수 있어야 한다.Ncss.productrk .namemode css_selectorfieldsr+ ro r r )r' configr s r test_extraction_config_setz2TestInsuranceSpiderInit.test_extraction_config_set sQ !,,, PWGXY"22-. $
''6111r r` )
ra rb rc rd re rl ru rx r| r r r r r= r r rg rg s .L L
, , ) ) 1 1 ? ? C C 0 0 2 2r rg c | e Zd ZdZed d Zed d Zed d Zed d Zed d Z ed d Z
y)
TestInsuranceSpiderParseu, InsuranceSpider.parse() 메서드 테스트.Nc B t J dddddd}t j dg| }t t d
}t j
t
|| }|D cg c] }t |t s| }}t | d k\ sJ d |d
v s
d|d
v sJ yyc c}w )uQ CSS 모드에서 extraction_config 기반으로 아이템을 추출해야 한다.Nr r r z.pricerk pricer r+ r r
r- rk r r
r
rj r
HTML_PRODUCTSasynciorunr rW dictr0 r' r r r r ritemss r "test_parse_css_mode_extracts_itemsz;TestInsuranceSpiderParse.test_parse_css_mode_extracts_items2 s !,,, & &:
#22-. $
&m9NO++ 3FH EF #;qz!T':;;5zQ q!Wa%888%8! table 모드에서 테이블 데이터를 추출해야 한다.Ntable)r table_selectorr+ r r r- c 3 0 K | ] }d |v xs d|v yw)u 보험명col_0Nr= )r> r s r r@ zATestInsuranceSpiderParse.test_parse_table_mode..X s! Ld;$&9'T/9Ls ) r
rj r
HTML_TABLEr r r rW r r0 rB r s r test_parse_table_modez.TestInsuranceSpiderParse.test_parse_table_modeG s !,,, %
#22-. $
&j6KL++ 3FH EF #;qz!T':;;5zQ LeLLLL A$$A-c t J t j 5 }t j dg| }|j j dd t
j |j d t
j |j t t | j d }t | dk\ sJ ddd y# 1 sw Y yxY w) u? on_close()는 ResponseHistory를 파일로 저장해야 한다.Nr+ r r, Fr z *history*r- )r
rO rP rj response_historyr/ r r r on_closerX r globr0 )r' rY r
history_filess r test_on_close_saves_historyz4TestInsuranceSpiderHooks.test_on_close_saves_history s !,,,
(
(
* +f&66 12!F
# # * *+@# F KK7 8 KK) * f !2!2;!? @M}%* ** + + +s B0CC c t J ddlm} t j dg } |d }t d }t j |j || y)u: on_error()는 예외 없이 에러를 로깅해야 한다.Nr r r+ rn zConnection failed)r
r r rj ConnectionErrorr r on_error)r' r r requesterrors r test_on_error_logs_errorz1TestInsuranceSpiderHooks.test_on_error_logs_error sT !,,,-"22?T>UV/0 34 FOOGU34r c t J t j dg }ddd}t j |j | }||k( sJ y)u5 유효한 아이템은 그대로 반환해야 한다.Nr+ rn 화재보험50000r r
rj r r on_scraped_itemr' r r r2 s r &test_on_scraped_item_passes_valid_itemz?TestInsuranceSpiderHooks.test_on_scraped_item_passes_valid_item sS !,,,"22?T>UV&9V 3 3D 9:~ ~r c t J t j dg }ddd}t j |j | }|J y)uR 모든 값이 None이나 빈 문자열이면 None을 반환해야 한다 (드롭).Nr+ rn r r )r' r
empty_itemr2 s r 'test_on_scraped_item_filters_empty_itemz@TestInsuranceSpiderHooks.test_on_scraped_item_filters_empty_item sQ !,,,"22?T>UV.2R%@
V 3 3J ?@~ ~r c t J t j dg }ddd}t j |j | }|J |d dk( sJ y)uG 일부 값만 비어 있는 경우 아이템을 통과시켜야 한다.Nr+ rn r r rk r r s r )test_on_scraped_item_partial_empty_passeszBTestInsuranceSpiderHooks.test_on_scraped_item_partial_empty_passes se !,,,"22?T>UV&6V 3 3D 9:!!!f~ ///r r` ) ra rb rc rd re r r r r r r r r= r r r r s 2
'
' 8 8 + + 5 5 0 0r r c X e Zd ZdZedd Zedd Zedd Zedd Zy)TestInsuranceSpiderRunu< InsuranceSpider.run() 메서드 및 출력 형식 테스트.Nc D t J ddlm}m}m} t j
dg } | |dd |d d
ig }t
j |d |
5 }|j }|j t || sJ ddd y# 1 sw Y yxY w)uD run()은 start()를 호출하고 CrawlResult를 반환해야 한다.Nr CrawlResult
CrawlStatsItemListr+ rn r- r9 requests_count
items_scrapedrk u 보험Astatsr start return_value) r
scrapling.spiders.resultr r r rj r objectr assert_called_oncerW )r' r r r r mock_result
mock_startr2 s r -test_run_calls_start_and_returns_crawl_resultzDTestInsuranceSpiderRun.test_run_calls_start_and_returns_crawl_result s !,,,NN"22?T>UV! AQ?VY /01
\\&'
D 3
ZZ\F ) ) + fk2 22 3 3 3s /BB c t J ddlm}m}m} t j 5 }t j dg| } |ddiddig } | |d d
| }t j |d |
5 |j d ddd t t | j d }t | dk\ sJ ddd y# 1 sw Y FxY w# 1 sw Y yxY w)uB run(output_format='jsonl')은 JSONL 파일로 내보내야 한다.Nr r r+ r rk r u 자동차보험r9 r r r r jsonl
output_formatz*.jsonlr- r
r r r r rO rP rj r r r rX r r r0 ) r' r r r rY r
mock_itemsr jsonl_filess r test_run_exports_jsonlz-TestInsuranceSpiderRun.test_run_exports_jsonl s !,,,NN
(
(
* )f&66 12!F "FN#;fFW=X"YZJ% C K fgKH
2
1
2 tF| 0 0 ;UV&&&r c f t J t j dgd }|j dk( sJ y)uD interval 파라미터가 _interval 속성에 반영되어야 한다.Nr+ g @)ro intervalr
rj _intervalrt s r test_checkpoint_interval_setz6TestCheckpointIntegration.test_checkpoint_interval_setn s? !,,,"22-.
5(((r c d t J t j dg }|j dk( sJ y)u, interval 기본값은 300.0이어야 한다.Nr+ rn g r@r rt s r test_checkpoint_interval_defaultz:TestCheckpointIntegration.test_checkpoint_interval_defaultx s8 !,,,"22?T>UV 5(((r r` ) ra rb rc rd re r r r r r= r r r r X sS 0 / / ' ' ) ) ) )r r )r+ r, )+rd r rT sysrO pathlibr typesr typingr r
unittest.mockr r r pytestrZ insertrR __file__parentr
__annotations__ri ModuleNotFoundError_MISSINGmarkskipifre r r HTML_EMPTY_ITEMSintr rX r r" rg r r r r r= r r r! s^
5 5
3tH~,,334 5 +/ 8J' . 0 $;;%% U &
(
%
" s tCy c+ c+VF2 F2\q q rT0 T0xL- L-h%) %)s s =D D D