글로벌 멀티 모델 AI 플랫폼, CDNetworks와 협력하여 빠르고 안정적인 모델 제공 구현

배경

고객사는 Gemini, ChatGPT, Claude 및 기타 AI 모델을 전 세계 기업과 사용자를 위한 단일 통합 계정으로 집계하는 선도적인 글로벌 멀티 모델 AI 플랫폼입니다.

여러 모델 API를 집계하고 통합 게이트웨이를 통해 제공함으로써, 이 플랫폼은 직접 액세스가 제한된 지역으로 AI 접근성을 확장합니다. 그러나 빠른 비즈니스 성장은 또한 고객사의 미래 확장성을 제한할 수 있는 중요한 인프라 과제를 드러냈습니다.

---

과제

글로벌 모델 액세스의 높은 대기 시간

고객사는 집계된 AI 모델을 전 세계 사용자에게 지속적으로 낮은 대기 시간으로 제공하는 데 어려움을 겪었습니다. 오리진 서버에서 멀리 떨어진 사용자는 더 높은 대기 시간, 네트워크 지터 및 일관되지 않은 성능을 자주 경험했습니다. 긴 라우팅 경로와 불안정한 네트워크 조건은 응답 속도와 전반적인 사용자 경험을 저하시켰습니다.

모델 요청으로 인한 높은 동시성 압력

플랫폼의 급속한 성장으로 인해 동시 API 요청이 예측 불가능하게 급증했습니다. 사용량이 많은 기간에는 트래픽이 오리진 대역폭과 컴퓨팅 용량을 압도하여 API 시간 초과, 속도 제한 및 서비스 불가능을 유발했습니다. 서비스 중단은 사용자가 가장 안정적인 액세스를 필요로 하는 정확한 시점인 피크 수요와 자주 일치했습니다. 더 나은 트래픽 관리 및 오리진 보호 없이는 대규모에서 안정적인 서비스를 유지하는 것이 점점 더 어려워졌습니다.

노출된 모델 API로 인한 보안 위험

노출된 API 및 파일 전송 엔드포인트는 스크래핑, API 남용 및 DDoS 공격의 심각한 위험을 초래했습니다. 공격자는 노출된 엔드포인트를 악용하여 리소스를 남용하고 인프라 안정성을 손상시켰습니다. 적절한 보호 없이는 고객사는 서비스 가용성 및 데이터 보안에 대한 지속적인 위험에 직면했습니다.

---

솔루션

안정적인 AI 모델 액세스를 보장하고 진화하는 위협으로부터 인프라를 보호하기 위해, 플랫폼에는 대기 시간 최적화, 트래픽 관리 및 보안을 위한 통합 솔루션이 필요했습니다.

CDNetworks는 멀티 모델 AI 플랫폼을 위해 설계된 통합 가속 및 보안 솔루션을 제공했습니다. CDNetworks의 동적 웹 가속 및 클라우드 보안 2.0을 활용하여 고객사는 글로벌 지역 전반에 걸쳐 낮은 대기 시간과 높은 가용성으로 더 빠르고 안전한 모델 액세스를 달성했습니다.

1. 안정적인 글로벌 AI 모델 전송

지능형 스케줄링이 트래픽 라우팅을 실시간으로 동적으로 최적화함으로써, 고객사는 여러 모델 및 복잡한 글로벌 네트워크 전반에 걸쳐 안정적이고 낮은 대기 시간의 AI 서비스 전송을 유지했습니다.

CDNetworks의 90개 이상의 국가에 걸친 3,000개 이상의 글로벌 PoP를 통해 요청을 라우팅함으로써, 당사의 솔루션은 멀티 모델 AI 응답을 최종 사용자에게 더 가깝게 가져오고 왕복 시간을 대규모로 단축했습니다. HTTP/2, HTTP/3(QUIC) 및 WebSocket 지원은 전송 계층 전반에 걸쳐 실시간 AI 상호 작용을 위한 전송 효율성을 더욱 향상시켰습니다.

당사의 맞춤형 세션 관리는 클라이언트 연결을 업스트림 AI 모델 세션과 동기화하여 또 다른 안정성 계층을 추가했습니다. 활성 사용자 세션이 감지되지 않으면 불필요한 토큰 생성을 즉시 중지할 수 있었습니다. 이는 최종 사용자에게 보다 일관된 경험을 유지하면서 불필요한 추론 비용을 줄이는 데 도움이 되었습니다.

🚀달성 효과: 이전에 전 세계 사용자에게 일관된 모델 액세스를 저해했던 라우팅 비효율성 및 네트워크 불안정성을 제거했습니다.

2. 지능형 오리진 트래픽 제어

CDNetworks의 동적 웹 가속을 통해 자주 반복되는 AI 쿼리를 엣지에서 캐싱하여 오리진 서버 부하를 크게 줄일 수 있었습니다. 또한 이는 업스트림 AI 서비스에 대한 불필요한 추론 트래픽을 줄여 토큰 재판매 마진을 개선하는 데 도움이 되었습니다. 집계된 추론 요청은 적절한 백엔드 AI 모델로 정확하고 효율적으로 라우팅되어 최종 사용자에게 빠르고 정확한 응답을 보장했습니다.

플랫폼은 또한 트래픽 급증에 대한 더 큰 복원력을 확보했습니다. 지능형 요청 대기열 및 맞춤형 속도 제어는 트래픽 급증을 더욱 완화하고 업스트림 AI 서비스를 과부하로부터 보호했습니다.

🚀달성 효과: AI 요청 동시성이 높은 기간 동안 과도한 서버 및 데이터베이스 확장 비용을 최소화했습니다.

3. 강화된 AI API 보안 및 오리진 보호

CDNetworks의 통합 보안 기능(DDoS 보호, 웹 애플리케이션 방화벽(WAF), API 보안, 봇 관리 및 악성 요청 필터링 포함)을 활용하여 고객사는 AI API 및 서비스에 대한 보호를 강화했습니다.

엣지에서 비준수 요청을 조기에 차단함으로써, 솔루션은 잠재적 위협이 오리진 인프라에 도달하기 전에 최소화했습니다. 동시에 합법적인 AI 트래픽은 불필요한 차단 없이 계속해서 원활하게 흘러갔습니다. 또한, 고객사의 오리진 서버 IP 및 엔드포인트는 공개 노출로부터 숨겨져 안전하고 안정적인 멀티 모델 AI 서비스 전송을 제공했습니다.

🚀달성 효과: 플랫폼의 API 및 전송 엔드포인트를 악용 및 남용에 취약하게 만들었던 노출 위험을 해결했습니다.

4. 24/7 지원 및 보안 서비스

CDNetworks의 24/7 전문가 지원 및 지속적인 보안 서비스의 지원을 통해 고객사는 악성 활동에 대한 AI 요청을 사전에 검사하고 위협에 실시간으로 대응할 수 있었습니다. 고객이 정의한 보안 정책에 따라 악성 트래픽은 지속적으로 분석, 확인, 기록 및 차단되어 안전하고 안정적인 멀티 모델 AI 플랫폼 운영을 유지하는 데 도움이 되었습니다.

🚀달성 효과: 고객사 내부 팀에 추가적인 부담을 주지 않으면서 보안 운영이 지속적이고 일관되게 유지되도록 보장했습니다.

---

주요 영향/이점

70% 이상의 글로벌 대기 시간 감소

글로벌 대기 시간을 70% 이상 줄임으로써 고객사는 응답 안정성을 크게 개선하고 시간 초과 발생을 최소화했으며 응답 시간을 50ms 미만으로 일관되게 유지했습니다. 최적화된 트래픽 전송은 또한 글로벌 지역 전역의 사용자에게 안정적이고 신뢰할 수 있는 AI 상호 작용을 가능하게 했습니다.

66% 이상의 오리진 대역폭 절약

지능형 엣지 캐싱 및 트래픽 최적화를 통해 고객사의 오리진 대역폭 사용량이 66% 이상 감소하여 인프라 압력을 낮추고 운영 비용을 최적화했습니다. 반복되는 오리진 요청이 줄어들면서 플랫폼은 대규모로 보다 안정적이고 효율적인 서비스 전송을 유지했습니다.

AI 모델 API에 대한 100% 보호

CDNetworks는 DDoS 공격, 악성 봇 활동 및 무단 액세스를 포함하여 AI 모델 API를 대상으로 하는 공격의 100%를 성공적으로 완화하여 중단 없는 서비스 가용성을 보장하고 중요한 AI 모델 API를 남용 및 중단으로부터 보호했습니다.

99.9% 서비스 가용성

CDNetworks는 고객사가 99.9%의 서비스 가용성을 유지하도록 도와 트래픽 피크 기간 및 대규모 모델 요청 급증 시에도 안정적인 액세스를 보장하고 플랫폼 복원력을 개선했으며 글로벌 지역 전반의 다운타임 위험을 최소화했습니다.

3700% 이상의 대역폭 성장

4개월 동안 플랫폼은 대역폭 수요의 3700% 이상 성장을 지원하도록 확장되었으며, CDNetworks는 대기 시간이나 가용성 저하 없이 급증을 흡수했습니다.