이미지 최적화와 COS 기반 CDN 자동화

요약:
본 기록은 이미지 트래픽과 품질을 관리하기 위해 Tencent COS의 서버리스 이미지 처리 기능을 적용한 과정을 다룬다. 크롤링된 상품 이미지가 각국 CDN에 자동으로 최적화·배포되도록 시스템을 재구성했으며, AI 에이전트를 통해 해상도, 포맷, 캐시 유효성, 시각 품질을 지속적으로 점검하는 구조를 확립했다.

1. 문제 인식 — 이미지 트래픽과 품질의 불균형

8월 초, 상품 이미지 요청량이 하루 평균 1200만 건을 넘어서면서 CDN 트래픽 비용이 급격히 증가했다. 원인은 대부분 비효율적인 이미지 크기와 중복 요청이었다. 크롤링 단계에서 원본 이미지는 고해상도 상태로 저장되었고, 프런트엔드는 단일 사이즈 이미지를 모든 기기에서 공통 사용했다.

초기에는 Cloud Function을 이용한 이미지 리사이징 API를 직접 운영했으나, 처리량 대비 비용이 높고, 콜드 스타트 지연이 잦았다. 따라서 Tencent COS의 내장 이미지 처리 기능을 이용한 서버리스 구조로 전환하기로 결정했다.

2. COS 서버리스 이미지 처리 구조 설계

COS는 별도의 서버나 Lambda 없이도 URL 파라미터 기반으로 이미지 변환을 수행할 수 있다. 이 기능을 이용하면 단 한 번의 업로드로 모든 변환 버전을 실시간으로 생성할 수 있다. 예를 들어, 800x800 썸네일을 webp로 변환하려면 다음과 같이 요청한다.

https://cdn.reindeers.com/images/p/12345.jpg?imageMogr2/thumbnail/800x800/quality/90/format/webp

COS는 이 요청을 받아 즉시 리사이징, 포맷 변환, 품질 조정 후 CDN 캐시에 저장한다. 원본 이미지는 절대 변경되지 않는다. 변환된 결과는 글로벌 CDN Edge에 7일간 캐싱되며, 다음 요청 시 캐시 적중률은 98% 이상으로 유지된다.

3. 프런트엔드 및 업로드 프로세스 변경

기존에는 개발자가 업로드 단계에서 직접 썸네일 파일을 생성했다. 7월 말부터 이 과정을 완전히 제거했다. 프런트엔드가 COS에 이미지를 업로드하면, 단순히 원본만 저장하고, 모든 변환은 런타임 요청 시 파라미터로 수행되도록 구조를 변경했다.

from qcloud_cos import CosConfig, CosS3Client

cfg = CosConfig(Region="ap-hongkong",
                SecretId=os.getenv("COS_SECRET_ID"),
                SecretKey=os.getenv("COS_SECRET_KEY"))
client = CosS3Client(cfg)

def upload_image(local_path, remote_key):
    client.upload_file(
        Bucket="reindeers-cdn-125xxxxxx",
        LocalFilePath=local_path,
        Key=remote_key
    )
    return f"https://cdn.reindeers.com/{remote_key}"

업로드 후 프런트엔드는 다음과 같은 형태로 이미지를 요청한다.

리스트뷰: ?imageMogr2/thumbnail/400x400/quality/85/format/webp
상세뷰: ?imageMogr2/thumbnail/800x800/quality/90/format/webp
줌뷰: ?imageMogr2/thumbnail/1600x1600/quality/95

각 요청은 클라이언트 디바이스 해상도와 네트워크 속도에 따라 동적으로 선택된다. 모바일 환경에서는 자동으로 낮은 품질 버전으로 전환된다.

4. AI 에이전트 기반 품질 검사 루프

COS는 이미지 처리 자체는 자동이지만, 변환 품질 검증은 별도의 루틴이 필요했다. Classifier-Agent의 서브 모듈로 “Image-Inspector-Agent”를 추가하여 이미지 품질을 주기적으로 분석했다. 이 에이전트는 샘플 이미지를 주기적으로 다운로드하여 압축 노이즈, 색상 왜곡, 비율 손실 등을 검사한다.

def inspect_image(url):
    img = download(url)
    score = quality_estimator(img)
    if score < 0.8:
        publish("image.reprocess", {"url": url, "score": score})
    return score

평균 품질 점수는 0.92 이상을 유지했으며, 0.8 이하로 평가된 이미지는 자동으로 재처리 큐에 등록되었다. 재처리 시에는 해상도나 품질 파라미터를 동적으로 조정하여 새로운 CDN 버전을 생성했다. 품질 검증 루프는 AI Ops-Agent가 매일 03:00 UTC에 실행한다.

5. CDN 캐시 관리 및 무효화 정책

COS에 저장된 이미지가 갱신되면 CDN 캐시가 즉시 무효화되어야 했다. 초기에는 Cloud Function을 수동 호출했으나, 8월 중순 이후 MQ 기반 자동화가 적용되었다. image.updated 이벤트가 발행되면, Cloud Function이 해당 경로의 캐시를 무효화한다.

def purge_cdn_cache(event):
    key = event["key"]
    region = event.get("region", "ap-hongkong")
    requests.post(f"https://api.cdn.tencent.com/purge", json={"path": key, "region": region})
    log.info(f"Cache purged: {key}")

관리자나 운영자는 Telegram에서 /imagepurge <path> 명령을 입력하면 동일한 프로세스가 수동으로 트리거된다. 자동 캐시 무효화 성공률은 99.6%로 측정되었고, 수동 명령은 디버깅 시에만 사용되었다.

6. 글로벌 트래픽 분산 및 비용 분석

CDN 설정 이후, 트래픽은 지역별로 분산되었다. 홍콩 리전 41%, 서울 27%, 싱가포르 18%, 기타 14%로 분포되었으며, 전체 전송량은 34TB → 22TB로 감소했다. 이는 중복 요청 제거와 WebP 포맷 전환 덕분이었다. 또한 AI가 자동으로 품질·용량을 조정함으로써 COS 스토리지 비용이 17% 절감되었다.

7. 오류 검출 및 복구 자동화

8월 25일, COS 내부 장애로 인해 일부 리사이즈 요청이 실패했다. Image-Inspector-Agent가 응답 코드 500을 2분 내 감지했고, Ops-Agent가 /cdn retry 명령을 자동으로 호출했다. 이후 Cloud Function이 큐를 재처리하여 약 15분 만에 정상화되었다. 재처리 로그는 Telegram에 실시간으로 전송되었다.

8. 결과 및 안정화 이후 구조

COS 기반 이미지 자동화 시스템 도입 이후, 서버 부하 없이도 고해상도 이미지를 실시간 변환·배포할 수 있게 되었다. AI 에이전트는 이미지 품질을 감시하며, 문제 발생 시 재처리 명령을 스스로 내린다. 관리자 개입은 거의 없으며, Telegram 리포트만으로 전체 상태를 파악할 수 있다.

현재 기준 주요 지표는 다음과 같다.

이미지 품질 점수 평균 0.92
CDN 캐시 적중률 98.4%
Cloud Function 호출 지연 200ms → 80ms
스토리지 비용 17% 절감
트래픽 전송량 34TB → 22TB

이 구조는 단순 최적화 단계를 넘어, “데이터 자체가 스스로 품질을 유지하는 시스템”으로 진화했다. 이후 단계에서는 이미지 데이터에 포함된 시각적 특징을 기반으로 상품 속성 자동 추출을 도입할 계획이다.

Blog of Reindeers

Search This Blog