Ë ³„éi| ãó —UdZddlmZddlZddlZddlmZddlmZeje «Z iZ de d<dZd e d <dd „Zdd „Zdd „Zddd„Zy)uœrobots.txt ì •ì±… 준수 유틸리티. 웹 í¬ë¡¤ë§/스í¬ëž˜í•‘ ì „ ëŒ€ìƒ ì‚¬ì´íŠ¸ì˜ robots.txt를 ìžë™ìœ¼ë¡œ 확ì¸í•œë‹¤. 결과는 ë„ë©”ì¸(scheme://netloc) 단위로 TTL 1시간 ìºì‹œì— 보관하여 반복 ë„¤íŠ¸ì›Œí¬ ìš”ì²­ì„ ë°©ì§€í•œë‹¤. Usage: from utils.robots_policy import check_robots_txt if check_robots_txt("https://example.com/page"): # í¬ë¡¤ë§ 진행 ... é)Ú annotationsN)Úurlparse)ÚRobotFileParserz(dict[str, tuple[RobotFileParser, float]]Ú _robots_cacheg ¬@ÚfloatÚ _CACHE_TTLcó€—t|«}|jr |jsy|j›d|j›S)u?URLì—ì„œ scheme://netloc 형ì‹ì˜ ìºì‹œ 키를 추출한다.Nz://)rÚschemeÚnetloc)ÚurlÚparseds úD/home/jay/workspace/.worktrees/task-2116-dev1/utils/robots_policy.pyÚ _cache_keyrs4€ä c‹]€FØ =Š= § ¢ ØØm‰mˆ_˜C § ¡ ˜Ð /Ð/ócób—t«}|j|›d«|j«|S)uprobots.txt를 fetch하여 파서를 반환한다. ë„¤íŠ¸ì›Œí¬ ì—러는 호출부ì—ì„œ 처리한다. z /robots.txt)rÚset_urlÚread)Úbase_urlÚparsers rÚ_fetch_robots_parserr%s-€ô Ó €FØ ‡NNhZ˜{Ð+Ô,Ø ‡KK„MØ €Mrcó~—tj|«}|€y|\}}tj«|z tkDry|S)uJìºì‹œì—ì„œ 유효한(TTL ì´ë‚´) 파서를 반환한다. 없으면 None.N)rÚgetÚtimeÚ monotonicr)rÚentryrÚtss rÚ_get_cached_parserr0s?€ä × Ñ ˜hÓ '€EØ €}ØØJ€FˆBÜ ‡~~Ó˜"ÑœzÒ)ØØ €Mrcó4—t|«}|€tjd|«yt|«}|€) t |«}|tj«ft|<|j||«S#t $r!}tj d||«Yd}~yd}~wwxYw)u‹robots.txt ì •ì±…ì— ë”°ë¼ URL í¬ë¡¤ë§ 허용 여부를 반환한다. Args: url: í¬ë¡¤ë§ ëŒ€ìƒ URL (scheme í¬í•¨ 필수). user_agent: í¬ë¡¤ëŸ¬ User-Agent 문ìžì—´. 기본값 '*' (모든 ë´‡). Returns: True — í¬ë¡¤ë§ 허용 ë˜ëŠ” ì •ì±… í™•ì¸ ë¶ˆê°€(fail-open). False — robots.txtê°€ 명시ì ìœ¼ë¡œ 해당 경로를 차단. Nu3robots_policy: URL 파싱 실패, 허용 처리: %sTu6robots_policy: fetch 실패 (허용 처리): %s — %s) rÚloggerÚdebugrrÚ ExceptionÚwarningrrrÚ can_fetch)r Ú user_agentrrÚexcs rÚcheck_robots_txtr&;s–€ô˜#‹€HØÐÜ ‰ ÐJÈCÔPØä  Ó )€FØ €~ð Ü)¨(Ó3ˆFð$*¬4¯>©>Ó+;Ð"<Œ hÑà × Ñ ˜J¨Ó ,Ð,øô ò Ü N‰NÐSÐU]Ð_bÔ cÜûð ús³ A-Á- BÁ6BÂB)r ÚstrÚreturnz str | None)rr'r(r)rr'r(zRobotFileParser | None)Ú*)r r'r$r'r(Úbool)Ú__doc__Ú __future__rÚloggingrÚ urllib.parserÚurllib.robotparserrÚ getLoggerÚ__name__rrÚ__annotations__rrrrr&©rrúr4sXðò õ#ãÛ Ý!Ý.à ˆ× Ñ ˜8Ó $€ð;=€ Ð7Ó<Ø€ ˆEÓó0óóõ-r