외부 데이터 크롤링과 다국어 처리 자동화
요약:
본 기록은 외부 기관의 데이터를 API 없이 직접 수집하기 위해 Playwright 기반 크롤링 시스템을 구축한 과정을 다룬다. AI 에이전트가 사람이 탐색하듯 사이트 구조를 인식하고 데이터를 자동 추출하며, Translator-Agent가 실시간 다국어 변환을 수행하는 통합 구조를 구현하였다. 크롤링, 번역, 검증, 저장의 전 과정을 자동화하여 글로벌 규제·표준 데이터를 통합했다.
1. 배경 — 외부 연동 대신 크롤링 선택의 이유
REINDEERS 플랫폼은 각국의 표준, 인증, 관세 데이터를 기반으로 상품 정보를 구조화해야 했다. 그러나 각 기관의 공개 API는 존재하지 않거나 접근이 제한적이었다. 태국 TISI, 한국 UNIPASS, 중국 GB표준, 말레이시아 SIRIM 등은 모두 웹 기반 HTML 구조만 제공했다. 이에 따라 API 연동 대신 **Playwright를 이용한 사람 모방형 크롤링 구조**를 도입했다.
크롤링 시스템은 단순 HTML 파싱이 아니라, 브라우저를 실제 구동하여 클릭, 스크롤, 입력, 다운로드까지 자동화하는 형태로 설계되었다. AI가 사용자처럼 행동하며 데이터를 수집하는 방식이었다.
2. 크롤링 구조 설계
크롤러는 국가별로 독립적인 설정을 가진다. 각 크롤러는 Playwright의 Headless 모드로 실행되며, Cloud Function에서 주기적으로 호출된다. 수집 주기는 데이터의 성격에 따라 24시간~168시간 단위로 다르다.
from playwright.sync_api import sync_playwright
def crawl_tisi():
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
page.goto("https://www.tisi.go.th/website/standardlist/comp_thai/th")
page.wait_for_selector("table")
rows = page.query_selector_all("table tr")
for r in rows[1:]:
cols = r.query_selector_all("td")
data = {
"standard_no": cols[0].inner_text(),
"description": cols[1].inner_text(),
"category": cols[2].inner_text()
}
publish("crawl.result", {"source": "TISI", "data": data})
browser.close()
크롤링 데이터는 MQ를 통해 Translator-Agent로 전달되고, 번역 후 DB에 저장된다. AI 에이전트 간의 순서는 “Crawler → Translator → Classifier → DB Sync” 로 고정되어 있다.
3. 다국어 처리 및 자동 변환
Translator-Agent는 크롤러가 발행한 이벤트를 수신하면 자동으로 언어를 감지하고 다국어로 변환한다. 모든 데이터는 영어(en), 한국어(ko), 태국어(th), 중국어(zh-CN), 말레이어(ms) 버전으로 저장된다. 번역 품질이 기준 이하일 경우 자동으로 재번역을 요청한다.
if detect_lang(text) != "en":
trans = deepseek.translate(text, target="en")
trans_refined = chatgpt.refine(trans, context="technical standard")
db.save_translation(item_id, "en", trans_refined)
Translator-Agent는 특히 기술 용어와 단위(예: “ψ”, “ISO”, “IEC”)의 오역을 방지하기 위해 내부 Glossary를 참조했다. Glossary는 AI가 자동 업데이트하며, 3,000개 이상의 기술 용어를 관리한다.
4. 크롤링 안정성 확보 및 오류 복구
Playwright 기반 크롤링은 네트워크 환경이나 DOM 변경에 취약했다. 하루 1,000회 이상 실행되는 크롤러에서 평균 7~8%의 실패율이 보고되었다. 이를 줄이기 위해 AI Ops-Agent가 HTML 구조를 학습하고 자동으로 셀렉터를 재설정하도록 했다.
if page.query_selector("table") is None:
selector = ai_agent.suggest_selector(url, html_snapshot)
page.wait_for_selector(selector)
AI는 이전 실패 로그를 바탕으로 새로운 셀렉터를 제안한다. 이 방식으로 실패율은 8.1% → 1.4%로 감소했다. 또한 MQ DelayQueue를 이용해 재시도 간격을 5분으로 설정하여 크롤링이 병목되지 않도록 했다.
5. 데이터 정제 및 중복 제거
크롤링 데이터는 동일 표준이 여러 언어 페이지에서 중복 수집될 수 있다. Translator-Agent는 각 데이터의 MD5 해시를 계산해 중복을 검증한다. 중복 항목은 Redis 캐시에 24시간 저장되어, 재수집 시 즉시 스킵된다.
key = f"hash:{hashlib.md5(content.encode()).hexdigest()}"
if redis.exists(key):
publish("crawl.skipped", {"url": url})
else:
redis.set(key, 1, ex=86400)
save_data(content)
이 로직으로 일일 데이터 중복률은 12% → 0.7%로 감소했다. 저장된 데이터는 국가별로 분류되어 MySQL과 Redis에 병렬로 저장되며, Redis TTL은 48시간로 설정된다.
6. AI 품질 평가 및 재처리 루프
Translator-Agent는 번역 품질을 BLEU 점수로 평가하고, 기준(0.75) 이하일 경우 재번역 요청 이벤트를 발행한다. Ops-Agent는 모든 번역 결과를 요약해 품질 리포트를 Telegram으로 전송한다. 품질 데이터는 주간 단위로 학습되어 Translator-Agent의 다음 번역에 반영된다.
📊 *Crawler & Translator Report*
Source: TISI
Entries: 1,284
Valid: 1,271
Duplicates: 9
Avg BLEU: 0.82
Retries: 4
Processing Time: 17m 42s
보고서에는 크롤링 성능, 번역 정확도, 중복률, 평균 처리 시간 등이 포함된다. 관리자는 단순히 Telegram 메시지를 검토해 전체 수집 상태를 확인할 수 있다.
7. 다국어 인덱싱 및 검색 최적화
번역된 데이터는 Redis Search 인덱스로 자동 등록된다. 검색어는 사용자 언어에 따라 자동 변환되어 일관된 결과를 제공한다. 예를 들어 “전선 규격”을 검색하면 태국어 표준 “สายไฟฟ้าแรงดันต่ำ”도 동일 결과로 노출된다.
FT.CREATE idx_standards
ON HASH
PREFIX 1 "std:"
SCHEMA name TEXT WEIGHT 2.0 description TEXT WEIGHT 1.0 lang TAG SORTABLE
검색 적중률은 언어별 평균 96% 이상이며, 크롤링된 데이터는 실시간으로 인덱스에 반영된다.
8. 결과 및 현재 상태
9월 기준, AI 크롤링 시스템은 TISI, UNIPASS, CN Standard, SIRIM 등 12개 기관 데이터를 자동 수집 중이다. 일일 평균 수집 건수는 2만 1천 건, 번역 4만 5천 문장 이상이며, 전체 프로세스의 98%는 AI 자동화로 수행된다.
- 평균 크롤링 성공률 98.6%
- 번역 품질 BLEU 0.82
- 중복 제거 정확도 99.3%
- MQ 처리량 2,400 msg/sec
- 전체 파이프라인 지연 380ms
사람은 단 한 번도 웹사이트를 직접 열지 않는다. AI는 사용자의 탐색 패턴을 모방하여 HTML 구조를 파악하고 데이터를 수집한다. REINDEERS는 이제 각국의 공공 데이터를 자체적으로 통합·번역·정제하는 완전한 자율 시스템을 보유하게 되었다.
Comments
Post a Comment