카테고리 매핑 엔진과 데이터 구조 자동화
요약:
본 기록은 Classifier-Agent를 중심으로, 상품 데이터를 자동으로 카테고리화하고 정규화하는 과정을 다룬다. 7월 중순부터 8월 초까지 진행된 이 작업은 Translator-Agent의 결과물을 기반으로, 대규모 상품 데이터를 산업 표준 분류체계에 맞춰 자동 매핑하기 위한 기술적 실험과 조정 과정을 포함한다.
1. 개발 배경 및 문제 인식
Translator-Agent가 다국어 데이터를 안정적으로 생성하기 시작하면서, 다음 병목은 “상품 분류”였다. 약 25만 건의 상품이 번역되었지만, 카테고리 코드가 누락되거나 서로 다른 언어에서 다른 트리 노드로 매핑되는 문제가 있었다. 기존의 수동 분류는 국가별 기준이 달라 일관성을 유지하기 어려웠다. 이를 해결하기 위해, AI 기반 카테고리 자동 분류 엔진(Classifier-Agent)을 개발했다.
목표는 다음과 같았다.
- 상품명·설명·스펙·브랜드를 이용한 자동 카테고리 예측
- 언어 중립적인 벡터 임베딩 기반 분류
- 분류 확신도(confidence score)에 따른 승인/보류 체계
- MQ 파이프라인 기반의 비동기 동작 및 자동 재매핑
2. 초기 구조 설계
Classifier-Agent는 Translator-Agent가 생성한 i18n 데이터를 입력으로 받는다.
product.normalized 이벤트를 수신하면 문장 임베딩을 생성하고,
카테고리 벡터 DB에서 가장 유사한 카테고리를 탐색한다.
SentenceTransformer("paraphrase-multilingual-mpnet-base-v2") 모델을 사용했으며,
Redis Vector Search를 기반으로 구현했다.
def classify_product(evt):
pid = evt["product_id"]
text = db.get_product_i18n(pid, "en")
vec = encoder.encode(text)
result = redis.ft("idx:category").search(Query("*=>[KNN 1 @embedding $vec]")
.return_fields("code","name","score").dialect(2), query_params={"vec": vec})
top = result.docs[0]
db.update_category(pid, top.code, confidence=top.score)
publish("product.categorized", {"id": pid, "code": top.code, "score": top.score})
첫 테스트에서 10만 건 중 86%가 올바른 카테고리로 매핑되었지만, 남은 14%는 혼동되는 문장 구조(예: “adapter”, “socket”, “charger”)로 인해 분류가 흔들렸다. 이를 해결하기 위해 AI 에이전트 간 “Self-Tuning Loop”를 추가했다.
3. Self-Tuning Loop 구축
Classifier-Agent는 분류 확신도가 0.75 이하인 항목을 자동으로 Translator-Agent에 다시 전달한다. Translator-Agent는 해당 상품 설명을 문맥 기반으로 재작성하고, 다시 MQ로 반환한다. 이 순환 구조는 사람이 개입하지 않아도 자동으로 품질을 보정하도록 설계되었다.
if confidence < 0.75:
publish("translator.rewrite.request", {"product_id": pid, "lang": "en"})
else:
db.mark_classified(pid, status="CONFIRMED")
실제 운영에서 하루 약 2,000건의 재작성 요청이 발생했고, 그중 80%는 두 번째 루프에서 확신도 0.85 이상으로 상승했다. 평균 분류 정확도는 BLEU 기준 0.83, recall 0.91로 측정되었다.
4. 다국어 데이터의 일관성 문제
동일한 상품이 언어별로 서로 다른 벡터를 가지는 현상이 발생했다. 예를 들어, 한국어 설명과 영어 설명이 같은 의미임에도 서로 다른 카테고리로 분류되었다. 이는 모델의 언어별 표현 공간이 일치하지 않기 때문이었다. 해결책으로 모든 번역 텍스트를 영어 기준으로 재임베딩 후 평균 벡터를 사용했다.
langs = ["ko","en","zh-CN","th","ms"]
vecs = [encoder.encode(db.get_product_i18n(pid,l)) for l in langs]
mean_vec = np.mean(vecs, axis=0)
store_vector(pid, mean_vec)
이 조정으로 언어별 분류 불일치율은 12% → 2.3% 수준으로 감소했다. 또한 Translator-Agent는 이후부터 모든 번역 결과에 “embedding ready” 플래그를 추가하여, 중복 벡터 계산을 피하도록 구조를 개선했다.
5. 데이터 중복 및 병합 문제
서로 다른 소스에서 크롤링된 상품이 동일 카테고리로 인식되지 않는 사례가 있었다. 동일 제품이 이름만 다르게 등록되어 벡터 유사도가 낮게 나오는 경우였다. 이를 해결하기 위해 “Cluster Merge Function”을 도입했다. 주기적으로 모든 상품의 벡터 간 유사도를 계산하고, 0.92 이상인 항목은 동일 그룹으로 묶어 하나의 표준 SKU로 병합했다.
for a,b in combinations(all_products, 2):
sim = cosine_similarity(vec[a], vec[b])
if sim > 0.92:
merge_sku(a,b)
초기에는 병합 정확도가 낮았지만, Translator-Agent가 브랜드명·모델명 구문을 보정하면서 정확도가 급상승했다. AI가 스스로 데이터를 구조화하는 단계에 도달했다.
6. MQ 파이프라인 최적화
Classifier-Agent는 고빈도 이벤트를 처리하므로 MQ 병목이 자주 발생했다. 8월 초, 초당 메시지 처리량이 3,200건을 넘자 큐 지연이 누적되기 시작했다. Ops-Agent가 이를 감지하고 자동으로 큐를 분할하도록 설정했다. 각 카테고리 코드의 prefix로 큐를 샤딩하면 평균 지연이 400ms → 90ms로 줄었다.
for prefix in range(0,10):
channel.queue_declare(queue=f"classify.{prefix}", durable=True)
이후 Translator-Agent의 이벤트와 충돌하지 않도록 라우팅 키 우선순위를 “classifier.#”로 상향시켰다. AI 에이전트 간 우선순위 체계가 명확히 분리되었다.
7. 품질 모니터링 및 자동 보고
품질 측정은 Ops-Agent가 수행한다.
Classifier-Agent는 모든 분류 결과의 확신도 평균, 오탐률(false positive), 중복 병합 건수를 집계해
Telegram /category 명령으로 실시간 보고한다.
📦 *Classifier-Agent Report*
Processed: 124,530
Accuracy: 91.2%
Low-Confidence: 3,442
Merged: 814
Avg Delay: 95ms
사람은 수치를 보고 판단만 내리면 된다.
실제 분류나 병합은 모두 AI가 수행하며, 필요 시 /agent restart classifier 명령으로 즉시 재가동할 수 있다.
8. 결론 및 향후 계획
Classifier-Agent의 도입으로 상품 구조화 과정은 완전 자동화되었다. AI는 카테고리 분류, 데이터 병합, 문맥 보정까지 모두 자체적으로 수행한다. 번역과 분류가 서로 피드백을 주고받는 루프 구조가 완성되었고, MQ 기반 파이프라인은 초당 3,000건 이상 처리에도 안정적으로 유지된다.
다음 단계는 분류 결과를 기반으로 재고·물류·가격 정책에 연동하는 것이다. AI는 단순한 분류 엔진을 넘어, 데이터의 흐름과 품질을 스스로 관리하는 주체로 진화하고 있다.
Comments
Post a Comment