グローバルなマルチモデルAIプラットフォームがCDNetworksとの連携により、高速かつ信頼性の高いモデル配信を実現

バックグラウンド

お客様は、Gemini、ChatGPT、Claude、その他のAIモデルを世界中の企業とユーザー向けに単一の統合アカウントで集約する、世界的に有力なマルチモデルAIプラットフォームです。

複数のモデルAPIを集約し、統合ゲートウェイを通じて提供することで、このプラットフォームは直接アクセスが制限されている地域にもAIアクセスを拡大しています。しかし、ビジネスの急速な成長は、お客様の将来の拡張性を制限する可能性のある重要なインフラストラクチャの課題も明らかにしました。

---

課題と問題点

グローバルなモデルアクセスにおける高遅延

お客様は、世界中のユーザーに対して集約されたAIモデルを一貫して低遅延で提供することに苦戦していました。オリジンサーバーから遠く離れた場所にいるユーザーは、高いレイテンシー、ネットワークジッター、一貫性のないパフォーマンスに頻繁に直面していました。長いルーティングパスと不安定なネットワーク状態は、応答速度と全体的なユーザー体験を低下させました。

モデルリクエストによる高同時接続圧力

プラットフォームの急速な成長により、同時APIリクエストに予測不可能な大規模な急増が発生しました。ピーク使用時間帯には、トラフィックがオリジンの帯域幅と計算容量を圧倒し、APIタイムアウト、レート制限、サービス利用不能を引き起こしました。サービス中断は、多くの場合、ユーザーが最も安定したアクセスを必要とするピーク需要時期に発生しました。適切なトラフィック管理とオリジン保護なしでは、大規模なサービスで信頼性を維持することがますます困難になりました。

露出したモデルAPIによるセキュリティリスク

露出したAPIとファイル配信エンドポイントは、スクレイピング、API悪用、DDoS攻撃の重大なリスクを生み出しました。攻撃者は露出したエンドポイントを悪用してリソースを乱用し、インフラストラクチャの安定性を危険にさらしました。適切な保護なしでは、お客様はサービスの可用性とデータセキュリティに対する継続的なリスクに直面していました。

---

事例

信頼性の高いAIモデルアクセスを確保し、進化する脅威からインフラストラクチャを保護するために、プラットフォームにはレイテンシー最適化、トラフィック管理、セキュリティのための統合ソリューションが必要でした。

CDNetworksは、マルチモデルAIプラットフォーム向けに設計された統合型の高速化・セキュリティソリューションを提供しました。CDNetworksの動的Web高速化とCloud Security 2.0を活用することで、お客様は低遅延と高可用性を備えた、より高速で安全なモデルアクセスを世界的な地域にわたって実現しました。

1. 信頼性の高いグローバルAIモデル配信

インテリジェントスケジューリングがトラフィックルーティングをリアルタイムで動的に最適化することにより、お客様は複数のモデルと複雑なグローバルネットワーク全体で、安定した低遅延のAIサービス提供を維持しました。

CDNetworksの90か国以上にまたがる3,000以上のグローバルPoPを介してリクエストをルーティングすることで、当社のソリューションはマルチモデルAIの応答をエンドユーザーのより近くに届け、ラウンドトリップ時間を大規模に短縮しました。HTTP/2、HTTP/3（QUIC）、WebSocketのサポートは、配信層全体におけるリアルタイムAIインタラクションの伝送効率をさらに向上させました。

当社のカスタマイズされたセッション管理は、クライアント接続をアップストリームのAIモデルセッションと同期させ続けることで、さらなる信頼性の層を追加しました。アクティブなユーザーセッションが検出されない場合、不要なトークン生成を即座に停止できます。これにより、エンドユーザーにとってより一貫した体験を維持しながら、不要な推論コストを削減できました。

🚀これによって達成されること：世界中のユーザーに対する一貫したモデルアクセスをこれまで損なっていたルーティングの非効率性とネットワーク不安定性を排除しました。

2. インテリジェントなオリジントラフィック制御

CDNetworksの動的Web高速化により、頻繁に繰り返されるAIクエリをエッジでキャッシュできるようになり、オリジンサーバーの負荷を大幅に削減しました。これにより、アップストリームのAIサービスへの不要な推論トラフィックを削減し、トークン再販の利益率を向上させることにも役立ちました。集約された推論リクエストは、適切なバックエンドAIモデルに正確かつ効率的にルーティングされ、エンドユーザーへの高速で正確な応答を保証しました。

プラットフォームはまた、トラフィックバーストに対する耐性も向上させました。インテリジェントなリクエストキューイングとカスタマイズされたレート制御により、トラフィックバーストがさらに平滑化され、アップストリームのAIサービスを過負荷から保護しました。

🚀これによって達成されること：AIリクエストの同時実行数が多い期間における、過剰なサーバーおよびデータベースのスケーリングコストを最小限に抑えました。

3. AI APIセキュリティとオリジン保護の強化

CDNetworksの統合セキュリティ機能（DDoS保護、Webアプリケーションファイアウォール（WAF）、APIセキュリティ、ボット管理、悪意のあるリクエストフィルタリングを含む）を活用することで、お客様はAI APIとサービスに対する保護を強化しました。

準拠していないリクエストをエッジで早期にインターセプトすることで、ソリューションは潜在的な脅威がオリジンインフラストラクチャに到達する前に最小限に抑えました。同時に、正当なAIトラフィックは、不必要なブロックを受けることなくスムーズに流れ続けました。さらに、お客様のオリジンサーバーのIPとエンドポイントは公開された状態から隠蔽されたままであり、安全で安定したマルチモデルAIサービスの提供が実現しました。

🚀これによって達成されること：プラットフォームのAPIと配信エンドポイントを悪用や乱用の影響を受けやすくしていた露出リスクを改善しました。

4. 24時間365日のサポートおよびセキュリティサービス

CDNetworksの24時間365日の専門家サポートおよび継続的なセキュリティサービスに支えられ、お客様は悪意のある活動についてAIリクエストを積極的に検査し、リアルタイムで脅威に対応することができました。お客様が定義したセキュリティポリシーに基づいて、悪意のあるトラフィックは継続的に分析、検証、ログ記録、ブロックされ、安全で安定したマルチモデルAIプラットフォームの運用維持に役立ちました。

🚀これによって達成されること：お客様の内部チームに追加の負担をかけることなく、セキュリティ運用が継続的かつ一貫して維持されることを保証しました。

---

主な影響/利点

70%以上のグローバルレイテンシー削減

グローバルレイテンシーを70%以上削減することで、お客様は応答の安定性を大幅に改善し、タイムアウトの発生を最小限に抑え、50ミリ秒未満の応答時間を一貫して維持しました。最適化されたトラフィック配信により、世界中の地域のユーザーに対して安定した信頼性の高いAIインタラクションがさらに可能になりました。

66%以上のオリジン帯域幅節約

インテリジェントなエッジキャッシングとトラフィック最適化を通じて、お客様のオリジン帯域幅使用量は66%以上削減され、インフラストラクチャへの圧力が低下し、運用コストが最適化されました。繰り返されるオリジンリクエストが減少したため、プラットフォームはより安定した効率的なサービス提供を大規模に維持しました。

AIモデルAPIの100%保護

CDNetworksは、DDoS攻撃、悪意のあるボット活動、不正アクセスを含む、AIモデルAPIを標的とした攻撃の100%を軽減することに成功し、中断のないサービスの可用性を確保し、重要なAIモデルAPIを悪用や妨害から保護しました。

99.9%のサービス可用性

CDNetworksはお客様が99.9%のサービス可用性を維持するのを支援し、ピークトラフィック時や大規模なモデルリクエスト急増時でも安定したアクセスを確保し、プラットフォームの回復力を向上させ、世界中の地域でのダウンタイムのリスクを最小限に抑えました。

3700%以上の帯域幅成長

4ヶ月の間に、プラットフォームは帯域幅需要の3700%以上の成長をサポートするようにスケールアップし、CDNetworksはレイテンシーや可用性を低下させることなく急増を吸収しました。