Decoding video di worker yang sama dengan pemrosesan job lain dapat menghabiskan CPU, memori, atau kapasitas decoder GPU. Saat kapasitas decoding penuh, job menumpuk di queue dan tugas lain ikut terlambat. Solusinya adalah mengisolasi tahap decoding, membatasi jumlah pekerjaan yang aktif, dan menerapkan backpressure agar produsen tidak mengirim pekerjaan lebih cepat daripada kapasitas konsumen.

TorchCodec 0.14 menjadi konteks teknis untuk pipeline ini, bukan alasan untuk menganggap decoding selalu berjalan di GPU atau selalu lebih cepat. Periksa kemampuan dan konfigurasi yang benar-benar digunakan pada versi tersebut melalui catatan rilis TorchCodec 0.14 dan dokumentasi terkait. Ukur pipeline dengan codec, perangkat keras, serta data produksi Anda.

Mengapa decoding perlu diisolasi

Job video bukan satu operasi ringan. Pipeline dapat membaca berkas, mendekode frame, mengubah ruang warna atau rentang nilai, mengekstrak audio, lalu meneruskan tensor ke model atau penyimpanan. Jika semua tahap memakai pool worker yang sama, job decoding yang mahal dapat menahan slot worker untuk tugas yang sebenarnya tidak memerlukan video.

Pemisahan menjadi layanan atau kelompok worker khusus memberi kontrol atas concurrency, dependensi perangkat keras, batas memori, dan kebijakan retry. Worker queue umum tetap menangani orkestrasi; worker decoder menangani tahap yang intensif komputasi dan mengirim hasil atau referensi artefak ke tahap berikutnya.

Bedakan penggunaan CPU, CUDA, dan memori

  • CPU: decoding dapat membebani CPU, khususnya ketika jalur decoding yang dipakai tidak memanfaatkan akselerasi perangkat keras. Demuxing, penyalinan data, pemrosesan audio, dan konversi format juga dapat menambah beban CPU.
  • CUDA: penggunaan CUDA bergantung pada dukungan decoder, konfigurasi, codec, dan perangkat yang tersedia. Pemrosesan model di CUDA tidak berarti decoding ikut berjalan di CUDA. Transfer frame dari CPU ke GPU dapat menambah latensi dan penggunaan memori.
  • Memori: frame yang sudah didekode umumnya jauh lebih besar daripada data video terkompresi. Menahan banyak frame atau klip sekaligus dapat menghabiskan RAM atau memori GPU. HDR dapat melibatkan format dengan kedalaman bit dan rentang nilai lebih tinggi; konversi atau pemrosesan yang mempertahankan presisi tersebut dapat menambah kebutuhan memori.
  • Audio: ekstraksi audio menambah pekerjaan decoding dan pemrosesan, yang dapat bersaing memperebutkan CPU dan bandwidth memori. Jalurnya tidak otomatis memakai CUDA hanya karena model video berjalan di GPU.

HDR bukan satu biaya tetap. Dampaknya bergantung pada codec, format piksel, jalur decoding, konversi warna, dan apakah tahap berikutnya mempertahankan atau mengubah rentang serta presisi. Uji video SDR dan HDR secara terpisah. Pastikan metadata warna dan rentang dinamis tidak hilang akibat konversi yang tidak disengaja.

Rancang batas kapasitas pipeline

Mulailah dengan tahap yang eksplisit: penerimaan job, decoding, inferensi atau pemrosesan, lalu penyimpanan hasil. Tetapkan kapasitas tiap tahap secara terpisah. Worker decoder sebaiknya memiliki batas jumlah job aktif dan batas sumber daya yang sesuai dengan ukuran klip serta perangkat yang tersedia.

Batasi concurrency dan ukuran batch

Jangan menyamakan jumlah proses worker dengan jumlah job yang aman. Pilih concurrency berdasarkan pengukuran CPU, RAM, memori GPU, dan throughput. Mulai dari concurrency rendah, lalu naikkan bertahap sambil mengamati latensi dan penggunaan memori. Jika beberapa proses berbagi satu GPU, perhitungkan bahwa masing-masing dapat membuat konteks dan alokasi memori sendiri.

Batch yang lebih besar dapat mengurangi overhead per item, tetapi juga menahan lebih banyak frame di memori dan memperbesar dampak kegagalan satu batch. Gunakan batas batch berdasarkan jumlah klip dan ukuran data yang diperkirakan, bukan jumlah item saja. Untuk video dengan durasi atau resolusi beragam, pertimbangkan pengelompokan berdasarkan karakteristik tersebut atau gunakan batas memori dan durasi sebagai syarat tambahan.

Jika ukuran klip sangat bervariasi, antrean terpisah untuk kelas pekerjaan yang berbeda dapat mencegah video panjang menahan video pendek. Namun, lebih banyak antrean menambah kompleksitas pengaturan kapasitas. Terapkan pemisahan hanya jika metrik menunjukkan adanya starvation atau perbedaan kebutuhan sumber daya yang nyata.

Backpressure, retry, timeout, dan idempotensi

  • Backpressure: batasi jumlah job yang boleh berada dalam status aktif atau menunggu di tahap decoding. Ketika kapasitas penuh, perlambat produsen, tahan pengiriman, atau tolak pekerjaan dengan mekanisme yang dapat dicoba kembali. Queue tanpa batas hanya memindahkan masalah menjadi backlog dan penggunaan penyimpanan yang terus tumbuh.
  • Retry: coba ulang kegagalan sementara, seperti gangguan penyimpanan, dengan jeda bertahap dan batas percobaan. Jangan mengulang kesalahan input permanen, seperti berkas rusak, tanpa mengubah kondisi atau jalur penanganannya.
  • Timeout: tetapkan batas waktu berdasarkan jenis pekerjaan. Timeout harus membatasi job yang macet, tetapi jangan terlalu pendek sehingga video panjang yang sah terus dibatalkan. Catat tahap saat timeout terjadi agar kegagalan membaca, decoding, dan pemrosesan dapat dibedakan.
  • Idempotensi: gunakan ID job dan kunci hasil yang stabil. Tulis hasil secara atomik atau gunakan pola staging lalu commit, sehingga retry tidak menghasilkan artefak ganda atau menimpa hasil valid secara parsial.

Perhatikan juga perilaku pembatalan: menghentikan job queue tidak selalu menghentikan pekerjaan native atau operasi perangkat keras yang sedang berlangsung. Pastikan worker dapat mengakhiri pekerjaan secara terkendali dan melepaskan sumber daya sebelum menerima job berikutnya.

Contoh pembagian worker

Berikut sketsa konfigurasi konseptual; nama opsi queue sengaja tidak ditentukan karena berbeda antar-runtime. Tetapkan batas setara pada sistem queue yang digunakan.

decoder_workers = 2
max_in_flight_per_worker = 1
max_batch_items = 4
job_timeout_seconds = 300
max_attempts = 3

# Alur:
# queue video -> worker decoder terbatas -> queue hasil
# Worker umum tidak mendekode video secara langsung.

Nilai tersebut hanya titik awal, bukan rekomendasi universal. Sesuaikan dari hasil pengukuran dan karakteristik klip. Bila proses decoding dan inferensi berbagi GPU, ukur keduanya bersama-sama; membatasi decoder saja belum tentu mencegah tekanan memori GPU.

Metrik dan diagnosis backlog

Pantau metrik per tahap, bukan hanya jumlah job gagal. Gunakan label yang aman dan terbatas, seperti jenis codec atau kelas durasi; hindari label berisi ID job yang membuat kardinalitas metrik membengkak.

  • Queue: panjang antrean, umur job tertua, laju masuk dan selesai, serta jumlah job yang ditolak atau ditunda.
  • Worker: job aktif, waktu menunggu, waktu decoding, waktu pemrosesan lanjutan, timeout, retry, dan tingkat keberhasilan.
  • CPU dan memori: pemakaian CPU, RAM, tekanan memori, serta jumlah proses decoder yang aktif.
  • GPU: penggunaan GPU dan memori perangkat bila jalur decoding atau tahap berikutnya menggunakan CUDA.
  • Per karakteristik media: durasi, resolusi, codec, HDR atau SDR, dan keberadaan audio. Gunakan agregasi yang menjaga privasi dan batas kardinalitas.

Langkah diagnosis praktis

  1. Bandingkan laju job masuk dengan laju job selesai. Jika laju masuk terus lebih tinggi, backlog akan tumbuh meskipun worker tidak mengalami error.
  2. Periksa umur job tertua dan pecah latensi menurut tahap. Waktu decoding yang meningkat mengarah ke kapasitas atau karakteristik media; waktu tunggu yang meningkat mengarah ke antrean atau jumlah worker.
  3. Bandingkan CPU, RAM, dan memori GPU pada saat latensi naik. CPU penuh dengan GPU relatif tidak sibuk dapat menunjukkan decoder CPU-bound atau biaya konversi dan pemindahan data.
  4. Kelompokkan hasil menurut HDR, audio, codec, dan resolusi. Jika hanya kelompok tertentu melambat, tinjau jalur decoding dan konversinya sebelum menambah semua worker.
  5. Ubah satu batas pada satu waktu, seperti concurrency atau ukuran batch, lalu amati throughput, latensi, dan memori. Throughput yang naik tetapi memori mendekati batas bukan perbaikan yang aman.

Kapan decoding dipindah ke worker khusus

Pindahkan decoding ke worker khusus ketika job video mengganggu latensi atau kapasitas pekerjaan lain, kebutuhan sumber dayanya berbeda, atau perlu kebijakan concurrency dan penskalaan tersendiri. Pemisahan juga berguna ketika sebagian pekerjaan memerlukan GPU sementara pekerjaan lain hanya memakai CPU.

Pertahankan decoding di worker yang sama jika volume rendah, latensi dapat diterima, dan batas sumber daya sudah cukup melindungi proses lain. Worker khusus menambah hop queue, penyimpanan atau transfer hasil antara, kebutuhan operasional, dan kemungkinan latensi tambahan. Karena itu, keputusan sebaiknya didasarkan pada metrik dan sasaran layanan, bukan asumsi bahwa pemisahan selalu lebih cepat.

Intinya: kendalikan job aktif dan ukuran batch, terapkan backpressure, buat retry aman melalui idempotensi, lalu ukur setiap tahap. TorchCodec 0.14 menyediakan konteks implementasi decoding, tetapi kapasitas aktual tetap ditentukan oleh codec, jalur CPU atau CUDA, media, dan perangkat keras yang diuji.