Queue worker memisahkan pekerjaan AI yang lama atau rentan gagal dari siklus hidup request HTTP. Request menerima ID job dan segera mengembalikan respons, sementara worker memproses tugas secara asinkron, mencatat statusnya, dan mencoba ulang kegagalan yang memang dapat dipulihkan.

Pola ini relevan bagi platform AI self-hosted yang menjalankan tugas otomatis, termasuk sistem dalam konteks tren proyek seperti HKUDS/OpenOPC. Penyebutan proyek tersebut bukan klaim tentang implementasi internalnya; rancangan worker perlu mengikuti kebutuhan dan batas nyata sistem Anda sendiri.

Pisahkan request dari pemrosesan AI

Jangan menahan koneksi HTTP selama model memproses tugas. Durasi inferensi, antrean GPU, batas waktu proxy, dan kegagalan proses dapat membuat request lama berakhir sebelum pekerjaan selesai. Simpan job terlebih dahulu, lalu kembalikan 202 Accepted beserta ID yang dapat digunakan klien untuk memeriksa status.

  1. API memvalidasi input dan otorisasi, membuat job dengan kunci deduplikasi, lalu menyimpannya.
  2. Worker mengambil job yang siap, memperoleh lease, dan mengubah statusnya menjadi running.
  3. Worker menjalankan tugas dengan batas waktu dan batas sumber daya yang ditetapkan.
  4. Worker menyimpan hasil dan menandai job succeeded, atau mencatat kegagalan dan menjadwalkan retry jika layak.
  5. Klien memeriksa status melalui endpoint atau menerima notifikasi jika sistem mendukungnya.

Untuk sistem sederhana, tabel job di basis data relasional dapat berfungsi sebagai penyimpanan antrean. Broker khusus dapat membantu saat throughput, pola distribusi, atau kebutuhan fan-out membenarkannya, tetapi menambah komponen, operasi, dan kemungkinan ketidakkonsistenan. Pilih berdasarkan kebutuhan terukur, bukan anggapan bahwa setiap sistem AI memerlukan broker.

Status job dan deduplikasi

Gunakan status yang menjelaskan kondisi job secara tegas. Contoh skema berikut bersifat konseptual; tipe kolom, indeks, dan sintaks harus disesuaikan dengan basis data yang dipakai.

jobs (
  id,                 -- ID job
  task_type,
  payload,
  status,             -- queued, running, retry_wait,
                      -- succeeded, failed, cancelled
  idempotency_key,
  attempts,
  available_at,
  lease_owner,
  lease_expires_at,
  result,
  last_error,
  created_at,
  updated_at
)

UNIQUE (task_type, idempotency_key)

Indeks pada kolom status dan waktu ketersediaan membantu worker menemukan job yang siap. Hindari menyimpan payload sensitif tanpa kebijakan akses, retensi, dan penghapusan yang jelas. Untuk payload besar, simpan referensi objek alih-alih menyalin isi besar ke setiap lapisan antrean.

Kunci idempotensi mencegah pengiriman ulang request membuat job yang sama berulang kali. Tentukan ruang lingkup kunci, misalnya per pengguna dan jenis tugas, serta masa berlakunya jika job lama boleh diajukan kembali. Deduplikasi saat pembuatan job berbeda dari idempotensi eksekusi: worker tetap harus aman ketika job yang sama diproses lebih dari sekali.

Lease, retry, dan idempotensi

Gunakan lease dengan masa berlaku untuk menandai job yang sedang dikerjakan. Worker memperbarui lease selama tugas masih berjalan; jika worker mati, lease kedaluwarsa dan job dapat diambil kembali. Lease mengurangi risiko job tertahan selamanya, tetapi tidak menjamin satu eksekusi saja: worker lama dapat pulih setelah lease-nya kedaluwarsa.

Ambil job dan perbarui statusnya secara atomik. Bila memakai basis data relasional, pola penguncian baris yang melewati baris terkunci dapat mencegah beberapa worker memilih job yang sama secara bersamaan, tetapi detail transaksi dan sintaks bergantung pada basis data. Jangan menahan transaksi basis data terbuka selama inferensi berlangsung.

job = claim_one_ready_job()  # perubahan status dan lease atomik
if job is None:
    wait_briefly()
else:
    try:
        result = run_task(job.payload, timeout=TASK_TIMEOUT)
        save_result_and_mark_succeeded(job.id, result)
    except RetryableError as error:
        if job.attempts < MAX_ATTEMPTS:
            delay = min(BASE_DELAY * 2 ** job.attempts, MAX_DELAY)
            delay = add_jitter(delay)
            schedule_retry(job.id, delay, error)
        else:
            mark_failed(job.id, error)
    except Exception as error:
        mark_failed(job.id, error)

Retry dengan exponential backoff dan jitter mengurangi lonjakan permintaan ketika layanan atau perangkat pulih. Bedakan kegagalan sementara—misalnya ketergantungan yang tidak tersedia—dari kegagalan permanen seperti input tidak valid. Tetapkan jumlah percobaan maksimum, batas waktu, dan kebijakan untuk job yang gagal; retry tanpa batas dapat menghabiskan kapasitas dan menyembunyikan bug.

Rancang efek samping agar idempotent. Gunakan ID job sebagai kunci operasi pada layanan tujuan bila tersedia, atau catat hasil operasi secara transaksional sebelum mengulangnya. Untuk efek eksternal yang tidak mendukung deduplikasi, tidak selalu mungkin menjamin eksekusi tepat satu kali; sistem biasanya perlu menerima kemungkinan pengiriman ulang dan menyediakan rekonsiliasi.

Concurrency dan pemulihan job macet

Batasi concurrency berdasarkan sumber daya yang benar-benar terbatas: memori GPU, kapasitas model yang dimuat, koneksi ke layanan eksternal, dan kapasitas CPU. Menambah jumlah worker tanpa batas dapat meningkatkan waktu antre, memicu kehabisan memori, atau memperburuk latensi. Ukur pemakaian dan waktu tunggu sebelum menaikkan batas.

Tetapkan batas waktu untuk tugas dan perpanjang lease secara berkala untuk pekerjaan panjang. Proses pemulihan harus mencari job running yang lease-nya kedaluwarsa, lalu menjadwalkan ulang atau menandainya gagal sesuai kebijakan retry. Pastikan worker yang kehilangan lease tidak dapat menimpa hasil baru; periksa pemilik lease atau gunakan nomor generasi (fencing token) saat menyimpan hasil.

Jangan menganggap setiap lease kedaluwarsa berarti tugas berhenti. Proses lama mungkin masih berjalan atau panggilan model belum dibatalkan. Pembatasan sumber daya, timeout, pemeriksaan lease sebelum menyimpan, dan idempotensi bersama-sama mengurangi efek pemrosesan ganda.

Metrik, trade-off, dan langkah produksi

Pantau metrik yang menunjukkan kemacetan dan kegagalan, bukan hanya jumlah job yang selesai:

  • Jumlah job per status dan laju job masuk serta selesai.
  • Umur job tertua yang menunggu dan waktu antre p50/p95.
  • Durasi pemrosesan, jumlah retry, kegagalan permanen, dan job yang lease-nya kedaluwarsa.
  • Concurrency aktif, penggunaan CPU/GPU/memori, serta waktu tunggu sumber daya model.
  • Jumlah job yang diproses ulang dan kegagalan saat menyimpan hasil.

Tambahkan log terstruktur dengan ID job dan ID korelasi, tanpa mencatat payload sensitif. Buat alarm untuk antrean yang terus menua, peningkatan retry, dan kapasitas worker yang tidak mencukupi. Sediakan cara aman untuk melihat, membatalkan, atau mengulang job gagal tanpa mengubah status langsung di produksi tanpa audit.

Antrean berbasis basis data sering lebih sederhana dan memberikan konsistensi kuat antara pencatatan job dan data aplikasi. Broker khusus dapat memisahkan beban antrean dari basis data dan menyediakan pola distribusi tambahan, tetapi status, hasil, dan data bisnis mungkin berada di sistem berbeda. Transactional outbox dapat mengurangi risiko perubahan basis data berhasil sementara pesan gagal diterbitkan, dengan konsekuensi perlu proses penerbit dan pembersihan outbox.

Mulailah dengan status job yang jelas, klaim atomik, deduplikasi, retry terbatas, lease, serta metrik umur antrean. Tambahkan broker, outbox, atau mekanisme pemulihan lebih kompleks ketika volume, kebutuhan ketersediaan, atau batas konsistensi menunjukkan bahwa rancangan awal tidak lagi cukup.