Debug backend: moderasi AI bocor karena timeout dan fallback salah konfigurasi biasanya bukan masalah pada model AI semata, melainkan pada desain alur kegagalan di sisi backend. Pola bug yang paling berbahaya adalah saat request ke layanan moderasi eksternal timeout, lalu aplikasi menjalankan fallback yang diam-diam berubah menjadi allow. Akibatnya, konten yang seharusnya ditahan justru diterbitkan.

Kasus seperti ini relevan untuk sistem yang memoderasi input berisiko tinggi, termasuk instruksi berbahaya, karena celah kecil di logika backend dapat membatalkan seluruh kontrol keamanan. Pelajaran utamanya sederhana: untuk jalur moderasi, kegagalan jaringan bukan kondisi netral. Jika keputusan moderasi tidak tersedia, sistem harus dirancang agar gagal secara aman, dapat diaudit, dan mudah dipulihkan tanpa menduplikasi efek samping.

Arsitektur singkat dan titik rawan

Misalkan alur backend Anda seperti ini:

  1. Client mengirim konten ke API backend.
  2. Backend memanggil layanan moderasi AI eksternal.
  3. Jika hasilnya block, konten ditolak atau masuk review.
  4. Jika hasilnya allow, konten disimpan dan dipublikasikan.

Masalah muncul ketika langkah 2 gagal karena timeout, DNS lambat, koneksi putus, atau layanan eksternal overload. Banyak implementasi menambahkan fallback agar request user tetap cepat. Di sinilah bug sering lahir:

  • timeout diperlakukan sama seperti respons valid,
  • exception ditelan dan diubah menjadi keputusan default,
  • default decision dikonfigurasi ke allow,
  • observabilitas tidak cukup untuk membedakan AI approved dari approved by fallback.

Secara desain, ini adalah kombinasi berbahaya antara dependency eksternal yang tidak andal dan fallback yang tidak fail-closed.

Gejala di log dan metric

Pada insiden nyata, kebocoran moderasi jarang langsung terlihat dari satu error besar. Gejalanya biasanya tersebar di beberapa tempat.

1. Lonjakan timeout ke provider moderasi

Contoh sinyal yang perlu dicari:

  • persentase request ke provider moderasi yang melebihi timeout meningkat,
  • latensi p95 atau p99 naik tajam,
  • jumlah exception jaringan meningkat,
  • pool koneksi outbound mulai penuh.

Contoh log terstruktur:

{