HanLab
동훈햄 분석기

# v4 핵심 파이프라인 — embedding_cluster.py
# 입력: 제목 가중치 2배 + 본문 앞 3문장
text = f"{title} {title} {' '.join(body_sentences[:3])}"

# 이중 임베딩
sbert_vec  = sbert_model.encode(texts)              # 768d, 한국어 특화
openai_vec = get_openai_embeddings(texts)          # 1536d, 범용 문맥

# concatenate + PCA 압축
combined = np.concatenate([sbert_vec, openai_vec], axis=1)  # 2304d
reduced  = PCA(n_components=128).fit_transform(combined)      # 128d

# 밀도 기반 클러스터링 — 클러스터 수 자동 결정
labels = hdbscan.HDBSCAN(
    min_cluster_size=3, min_samples=2
).fit_predict(normalize(reduced))

# comment_radar.py — 델타 트래킹 핵심 로직
def fetch_naver_comment_count(article_id: str) -> int:
    # 비공개 엔드포인트 — DevTools 역추적
    url = f"https://comment.news.naver.com/comment/listCount?ticket=news&objectId={article_id}"
    res = requests.get(url, headers=SPOOFED_HEADERS, timeout=5)
    return res.json()["result"]["count"]["total"]

def compute_delta(articles: list) -> list:
    prev = load_snapshot()   # 직전 스캔 스냅샷
    current = {}
    for a in articles:
        count = fetch_naver_comment_count(a["id"])
        current[a["id"]] = {
            "count": count,
            "delta": count - prev.get(a["id"], count)   # 20분간 증가량
        }
    save_snapshot(current)
    return sorted(current.values(), key=lambda x: x["delta"], reverse=True)