i U d Z ddlmZ ddlZddlZddlmZ ddlmZmZm Z ddl
m Z ddl m
Z
ddlmZmZ d Zd
Zd Zd ed
< dZded< ddddddZded< e ed Zd(dZd)d Zd*d Zd+d Zd,d Z d-d Z e d!k( r e ej@ d"kD r e ej@ d" n e e Z! e ej@ d#kD r e ej@ d# n e e Z"e!jG s) e$d$e! ejJ % ejL d" e$d&e! ee! Z'e's e$d' ejL d e e' e e'e" yy).u? Telegram HTML 내보내기 파일을 conversation_memory.py 호환 JSONL로 변환.
사용법:
python html_to_jsonl.py [INPUT_HTML] [OUTPUT_JSONL]
기본값:
INPUT_HTML = /home/jay/.cokacdir/workspace/autoset/messages.html
OUTPUT_JSONL = /home/jay/workspace/memory/groupchat/test-import-2026-03-15.jsonl
) annotationsN)Counter)datetime timedeltatimezone)Path)Optional)
BeautifulSoupTagz3/home/jay/.cokacdir/workspace/autoset/messages.htmlzA/home/jay/workspace/memory/groupchat/test-import-2026-03-15.jsonli intCHAT_IDgeneralstr TOPIC_TAG)u 제이회장님F) 잼민이T) 코덱스T) 클로디T)u 아누T)JJongsr r r u 아누(ANU) AI비서zdict[str, tuple[str, bool]]
SENDER_MAP )hoursc | j dd j } t j |d }|S # t $ r Y yw xY w)ui '15.03.2026 14:52:14 UTC+09:00' 형식을 datetime으로 변환.
파싱 실패 시 None 반환.
UTC z%d.%m.%Y %H:%M:%S %zN)replacestripr strptime
ValueError)title
normalizeddts B/home/jay/workspace/services/multimodel-bot/tools/html_to_jsonl.pyparse_timestampr# 2 sL ub)//1J
z+A
B s : AAc R | j }t j ||df S )u HTML 발신자 이름을 (정규화 이름, is_bot) 으로 변환.
매핑에 없는 이름은 원본 그대로 + is_bot=False 로 처리.
F)r r get)raw_namestrippeds r" resolve_senderr( A s&
~~ H >>(Xu$5 66 c t | j d D ] }|j d | j d S )u text div 내 HTML 태그를 제거하고 순수 텍스트만 반환.
a 태그는 href 대신 텍스트만 남긴다.
태그는 개행으로 처리.
br
r ) separator)find_all replace_withget_text)text_divr+ s r" extract_textr2 J s> %
r **r) c t | dd 5 }t |d }ddd g }d}j dd }| t d
t j
|S |j
dd D ]H }t |j d
xs g }d|v r'd|vr,|j dd }|Bd|v r|} n,|j dd }
|
|} n|
j d } | }| sx|j dd } | | j d xs d} t t | }
|
t d| t j
|j dd }|t | j }|s t | \ }}|||
j |t t" d}|j% | K |S # 1 sw Y xY w)u@ HTML 파일을 파싱하여 JSONL 레코드 리스트를 반환.rutf-8encodingz html.parserNr divhistory)class_u/ [WARN] .history div를 찾을 수 없습니다.filemessageclassservicedefaultbodyjoined from_nameT)r dater u& [WARN] 타임스탬프 파싱 실패: text)senderrE timestampis_botchat_id topic_tag)openr
findprintsysstderrr. setr% r0 r# r r2 r r( isoformatr
r append) html_pathfhsouprecordslast_sender_raw history_divmsg_divclassesbody_div
sender_raw
from_name_divdate_div
title_attrtsr1 rE sender_namerH records r" parse_html_to_recordsrc Z s
iw / 02 R /0 G O ))E))4K
?cjjQ ''i'@ > gkk'*0b1 G # <<f<5 w (J $MM% M DM $ ,
* 3 3$ 3 ?
", ==v=6 \\'*0b
S_
-
: ::.IPSPZPZ [ ==v=6 H%++- -Z 8 V " "
v }> @ NY0 0s
F;;Gc
" t | }t d | D }||z
}t d | D }t dd t d t d t d|d t |rd|dd ||z d
z d d nd
t |rd|dd ||z d
z d d nd t t d |j D ]4 \ }t fd| D }|rdnd}t d| d d|d 6 t d d y)u% 변환 결과 통계를 출력한다.c 3 , K | ] }|d s d yw)rH N .0r4 s r" z print_stats.. s 6!!H+A6s
c 3 & K | ] }|d yw)rF Nrg rh s r" rj z print_stats.. s %Caak%Cs r, z2==================================================u
변환 통계u 총 메시지 수 : ,u 봇 메시지 : (d z.1fz%)u 봇 메시지 : 0u 사람 메시지 : u 사람 메시지 : 0u 발신자별 메시지 수:c 3 : K | ] }|d k( s |d yw)rF rH Nrg )ri r4 rF s r" rj z print_stats.. s KQQx[F5JQx[Ks
u [봇]u [사람]z z: N)lensumr rM most_commonany) rV total bot_count human_countsender_countercountrH labelrF s @r" print_statsr{ s3 LE6w66I)#K %%C7%C CN Bxj/ / XJ !%
+, SX 1
R E0AC0G/LB
O^uv X] !+a ;3F3LS2QQS
Tc{| G
'('335 0
K'KK!z
5'6("U1I./0
XJb/r) c |j j dd t |dd 5 }| D ]+ }|j t j
|d dz - d d d t
d
| d t | d d
y # 1 sw Y &xY w)u. 레코드 리스트를 JSONL 파일로 저장.T)parentsexist_okwr5 r6 F) ensure_asciir, Nu 저장 완료: rm rl u 줄))parentmkdirrK writejsondumpsrM rq )rV output_pathrT rb s r" write_jsonlr s TD 9
k3 1 DR DF HHTZZU;dB C DD
OK=3w<*:$
?@D Ds 1BB __main__rf u2 [ERROR] 입력 파일을 찾을 수 없습니다: r; u 파싱 중: u+ [WARN] 변환된 메시지가 없습니다.)r r returnzOptional[datetime])r& r r ztuple[str, bool])r1 r r r )rS r r
list[dict])rV r r None)rV r r r r r )(__doc__
__future__r r rN collectionsr r r r pathlibr typingr bs4r
r
DEFAULT_INPUTDEFAULT_OUTPUTr
__annotations__r r TZ_KSTr# r( r2 rc r{ r __name__rq argv
input_pathr existsrM rO exitrV rg r) r" r so #
2 2 " F
T 3 )$$$ , +
'
)!$ % 7+ Nl8A z&)#((ma&7chhqk"T-=PJ'*388}q'8$sxx{#d>>RK
B:,OVYV`V`a L
%&#J/G
;< %! r)