Menjalankan model LLM (Large Language Model) di production memerlukan observabilitas real-time yang berbeda dengan REST API konvensional. Penurunan performa pada LLM sering kali tidak langsung berupa error 5xx, melainkan degradasi bertahap seperti lonjakan Time to First Token (TTFT), respons streaming yang terputus di tengah jalan, atau peningkatan latensi p99 secara tajam. Arsitektur AI gateway bertindak sebagai control layer yang memantau metrik tersebut dan memicu otomasi rollback atau failover ke model cadangan (base/fallback model) secara deterministik.
Metrik Kunci Observabilitas AI Gateway
Gateway untuk inferensi LLM harus mengekstrak dan memancarkan metrik operasional khusus dari payload HTTP chunked/SSE (Server-Sent Events). Empat sinyal utama yang wajib diukur adalah:
- Time to First Token (TTFT): Durasi dari saat gateway meneruskan request hingga token respons pertama diterima dari provider upstream. Kenaikan TTFT mengindikasikan antrean inferensi internal provider sedang jenuh.
- Latency P99: Waktu total penyelesaian generasi prompt untuk 1% request terlambat. Berguna untuk mendeteksi tail-latency anomalies.
- 5xx Error Rate: Proporsi error level HTTP (seperti 500 Internal Error, 503 Service Unavailable, 504 Gateway Timeout) atau rate limit 429 dari upstream provider.
- Fallback/Ejection Rate: Rasio request yang dialihkan dari model utama (misal: fine-tuned LLM) ke base model stabil (misal: GPT-4o-mini atau Claude Instant) akibat kegagalan target upstream.
Instrumentasi Prometheus
Berikut adalah contoh pendefinisian metrik Prometheus pada custom gateway middleware (Node.js/Go/Python) untuk menangkap karakteristik streaming LLM:
# HELP llm_ttft_seconds Durasi hingga token streaming pertama diterima
# TYPE llm_ttft_seconds histogram
llm_ttft_seconds_bucket{model="custom-llama3-70b",le="0.5"} 1420
llm_ttft_seconds_bucket{model="custom-llama3-70b",le="1.0"} 1890
llm_ttft_seconds_bucket{model="custom-llama3-70b",le="2.5"} 2010
# HELP llm_upstream_requests_total Total request ke upstream provider
# TYPE llm_upstream_requests_total counter
llm_upstream_requests_total{model="custom-llama3-70b",status="200"} 54302
llm_upstream_requests_total{model="custom-llama3-70b",status="504"} 128
llm_upstream_requests_total{model="custom-llama3-70b",status="429"} 410
# HELP llm_fallback_events_total Total pengalihan ke base model akibat circuit trip
# TYPE llm_fallback_events_total counter
llm_fallback_events_total{source_model="custom-llama3-70b",target_model="base-llama3-8b"} 128Konfigurasi Routing Adaptif dan Circuit Breaker pada Envoy
Menggunakan reverse proxy seperti Envoy memungkinkan implementasi circuit breaker dan outlier detection tanpa membebani logic aplikasi. Ketika upstream model fine-tuned mengalami degradasi (lonjakan timeout atau 5xx), Envoy secara otomatis mengeluarkan host tersebut dari pool cluster (ejection) dan merutekan traffic ke cluster fallback.
static_resources:
listeners:
- name: llm_ingress
address:
socket_address: { address: 0.0.0.0, port_value: 8080 }
filter_chains:
- filters:
- name: envoy.filters.network.http_connection_manager
typed_config:
"@type": type.googleapis.com/envoy.extensions.filters.network.http_connection_manager.v3.HttpConnectionManager
stat_prefix: ingress_llm
route_config:
name: llm_route
virtual_hosts:
- name: llm_service
domains: ["*"]
routes:
- match: { prefix: "/v1/chat/completions" }
route:
cluster: primary_model_cluster
retry_policy:
retry_on: "5xx,gateway-error,connect-failure"
num_retries: 2
per_try_timeout: 3s
# Retry ke fallback cluster saat retry policy primary exhausted
host_rewrite_literal: llm-gateway.internal
clusters:
- name: primary_model_cluster
type: STRICT_DNS
lb_policy: ROUND_ROBIN
connect_timeout: 1s
load_assignment:
cluster_name: primary_model_cluster
endpoints:
- lb_endpoints:
- endpoint:
address:
socket_address: { address: primary-llm.internal, port_value: 8000 }
circuit_breakers:
thresholds:
- priority: DEFAULT
max_connections: 1000
max_pending_requests: 100
max_requests: 1000
outlier_detection:
consecutive_5xx: 3
interval: 5s
base_ejection_time: 30s
max_ejection_percent: 100
health_checks:
- timeout: 2s
interval: 5s
unhealthy_threshold: 2
healthy_threshold: 2
http_health_check:
path: "/health"
expected_statuses:
- start: 200
end: 201
- name: fallback_model_cluster
type: STRICT_DNS
lb_policy: ROUND_ROBIN
connect_timeout: 1s
load_assignment:
cluster_name: fallback_model_cluster
endpoints:
- lb_endpoints:
- endpoint:
address:
socket_address: { address: base-llm.internal, port_value: 8000 }Konfigurasi outlier_detection di atas mendeteksi jika upstream mengembalikan kode 5xx berturut-turut sebanyak 3 kali, lalu mengejeksi instance target selama 30 detik. Health check aktif pada endpoint /health memastikan instance hanya menerima traffic kembali jika model engine siap melayani inferensi.
Skenario Postmortem: Outage Upstream Provider
Ringkasan Insiden: Pada pukul 14:10 UTC, upstream provider utama mengalami degradasi kapasitas GPU server, menyebabkan TTFT melonjak dari median 400ms ke 8200ms, diikuti badai HTTP 504 Gateway Timeout.
Timeline:
- 14:10:02: TTFT p99 melewati ambang batas 3.0 detik. Gateway mulai mencatat
upstream_response_timemelampaui limit. - 14:10:15: Cluster utama mencapai batas
consecutive_5xx: 3pada outlier detection. Gateway memutus koneksi langsung dan mengalihkan 100% traffic inferensi kefallback_model_cluster. - 14:10:20: Metrik
llm_fallback_events_totalmelonjak. Alert PagerDuty aktif otomatis menandakan automated rollback sedang berlangsung. - 14:25:00: Provider utama memulihkan kapasitas compute. Health check HTTP pool utama kembali hijau (2 consecutive successful checks).
- 14:25:35: Envoy mengembalikan traffic ke cluster primary secara bertahap tanpa downtime pada sisi klien.
Pencegahan Failover Loop
Saat menerapkan automated rollback antar model LLM, risiko terbesar adalah failover cascade loop—kondisi di mana fallback cluster tumbang akibat lonjakan beban mendadak, lalu gateway melempar kembali traffic ke primary yang belum sepenuhnya pulih.
Langkah pencegahan yang wajib diterapkan:
- Shed Load Lebih Awal: Terapkan rate limiting ketat pada fallback model. Jika fallback model memiliki batas throughput (TPM/RPM) lebih rendah, gateway harus merespons dengan HTTP 429 terstruktur daripada menenggelamkan cluster cadangan ke kondisi deadlock.
- Hysteresis dan Dampening: Berikan durasi cooldown (misal:
base_ejection_time: 300s) sebelum memulihkan routing ke primary cluster. Hindari transisi bolak-balik yang terlalu agresif dalam rentang detik. - Adaptive Prompt Truncation: Sebelum merutekan request ke fallback model, pangkas context-length token jika fallback model menggunakan limit token window yang lebih kecil, untuk menghindari error
context_length_exceededmassal di upstream cadangan.
Komentar
0 komentar
Masuk ke akun kamu untuk ikut berkomentar.
Belum ada komentar
Jadilah yang pertama ikut berdiskusi!