Menentukan concurrency deployment dengan Little’s Law
Little’s Law membantu memperkirakan jumlah rata-rata pekerjaan deployment yang sedang berjalan berdasarkan throughput dan waktu penyelesaiannya: L = λ × W. Jika pipeline menyelesaikan 4 deployment per jam dan rata-rata satu deployment memerlukan 30 menit, perkiraan rata-rata pekerjaan dalam sistem adalah 2.
Angka itu adalah estimasi kondisi rata-rata, bukan batas aman yang bisa langsung diterapkan. Kapasitas runner, batas layanan, strategi rilis bertahap, variasi waktu deployment, dan dampak terhadap pengguna tetap menentukan concurrency operasional.
Arti L, λ, dan W dalam pipeline CI/CD
- L: rata-rata jumlah deployment dalam sistem yang sedang dipertimbangkan. Tentukan apakah sistem mencakup pekerjaan yang mengantre, sedang berjalan, atau keduanya.
- λ: throughput, yaitu jumlah deployment yang selesai per satuan waktu.
- W: rata-rata waktu yang dihabiskan satu deployment dalam sistem yang sama. Jika L mencakup antrean, W harus mencakup waktu menunggu dan waktu eksekusi.
Pastikan batas sistem konsisten. Misalnya, jika yang dihitung adalah deployment produksi, jangan memakai throughput seluruh pipeline CI yang juga mencakup build dan pengujian. Rumus ini menghubungkan rata-rata jangka panjang; rumus tersebut tidak menjamin bahwa setiap pekerjaan akan selesai dalam waktu W.
Mengukur metrik dan menghitung concurrency
Ambil data dari peristiwa pipeline
Catat waktu saat deployment masuk ke antrean, mulai berjalan, dan selesai. Dari data tersebut, hitung throughput penyelesaian selama periode representatif serta waktu rata-rata sejak masuk antrean hingga selesai. Pantau juga waktu antre secara terpisah agar perubahan beban tidak tersembunyi di balik rata-rata total.
Gunakan jendela waktu yang sesuai dengan pola rilis, dan bandingkan periode dengan kondisi beban serupa. Rata-rata dapat menyamarkan lonjakan; lengkapi pemantauan dengan persentil waktu antre dan waktu penyelesaian, jumlah antrean, tingkat kegagalan, serta metrik dampak pengguna.
Contoh perhitungan
Misalkan sistem menyelesaikan 6 deployment produksi per jam. Rata-rata waktu dari antre hingga selesai adalah 20 menit, atau sepertiga jam. Maka:
λ = 6 deployment/jam
W = 20/60 jam
L = λ × W = 6 × 1/3 = 2 deploymentHasilnya memperkirakan rata-rata 2 deployment berada dalam sistem. Jika W hanya mengukur waktu eksekusi, hasil tersebut memperkirakan pekerjaan yang sedang berjalan, bukan yang menunggu. Sebutkan definisi yang digunakan saat membandingkan metrik.
Dari estimasi ke batas concurrency yang aman
Little’s Law tidak menentukan concurrency maksimum. Gunakan hasilnya sebagai titik awal untuk mengamati beban, lalu uji batas secara bertahap pada kapasitas nyata. Periksa jumlah runner, kapasitas cluster dan database, batas API, serta sumber daya yang dipakai tiap deployment. Sisakan ruang untuk variasi waktu, retry, dan beban produksi.
- Tetapkan metrik dasar: throughput, waktu antre, waktu penyelesaian, kegagalan, dan indikator kesehatan layanan.
- Mulai dari concurrency konservatif yang sesuai dengan kapasitas runner dan layanan yang disentuh deployment.
- Naikkan batas secara bertahap hanya jika antrean dan latensi tetap terkendali serta dampak pengguna tidak memburuk.
- Batasi promosi antarlingkungan secara terpisah. Build atau pengujian dapat berjalan paralel, sementara promosi ke produksi dibuat lebih terbatas.
- Dokumentasikan batas dan kondisi penghentian, lalu tinjau ulang setelah perubahan kapasitas atau pola rilis.
Deployment bertahap membantu membatasi jumlah perubahan yang terekspos sekaligus. Contohnya, jalankan canary atau promosi per tahap dan evaluasi kesehatan sebelum melanjutkan. Strategi ini mengurangi risiko rilis, tetapi tidak otomatis menambah kapasitas runner atau mempercepat deployment.
Mengenali antrean yang membesar dan latensi yang memburuk
Antrean yang terus bertambah menunjukkan pekerjaan masuk lebih cepat daripada yang dapat diselesaikan pada kondisi tersebut. Waktu antre yang meningkat sementara throughput tetap atau menurun adalah sinyal kapasitas tertekan. Latensi layanan, tingkat error, dan waktu deployment yang memburuk dapat menandakan bahwa concurrency membebani sumber daya bersama.
Jangan menyimpulkan penyebab dari satu metrik. Periksa dashboard untuk throughput, jumlah pekerjaan dalam antrean dan berjalan, waktu antre, durasi tiap tahap, kapasitas runner, serta kesehatan layanan yang sedang dirilis. Cocokkan waktu anomali dengan log pipeline dan log layanan; cari retry berulang, kegagalan pemeriksaan kesehatan, bottleneck tahap tertentu, atau ketergantungan yang melambat.
Respons saat rilis melambat
- Hentikan promosi ke tahap berikutnya agar lebih sedikit perubahan terekspos saat kondisi belum jelas.
- Periksa dashboard dan log untuk membedakan antrean runner, tahap deployment yang lambat, dan degradasi layanan.
- Rollback jika dampak pengguna meningkat dan rollback aman serta tersedia. Ikuti prosedur pemulihan tim; jangan mengandalkan rollback sebagai pengganti diagnosis.
- Lanjutkan secara terkendali setelah indikator kesehatan pulih dan penyebabnya cukup dipahami. Turunkan concurrency sementara jika sumber daya bersama terbebani.
- Catat tindakan pencegahan dalam postmortem ringan: kronologi, dampak, penyebab, sinyal yang terlewat, serta tindakan konkret beserta penanggung jawab.
Asumsi dan keterbatasan
Little’s Law berlaku untuk sistem yang terukur konsisten dan stabil dalam jangka pengamatan: laju masuk dan keluar tidak terus berbeda sehingga antrean tumbuh tanpa batas. Gunakan rata-rata untuk periode yang cukup representatif, bukan satu lonjakan singkat. Perubahan beban, campuran deployment, retry, pembatalan, dan antrean yang belum terselesaikan dapat membuat perbandingan menyesatkan.
Hukum ini menghubungkan rata-rata jumlah pekerjaan, throughput, dan waktu dalam sistem; hukum ini tidak menjelaskan penyebab bottleneck, distribusi latensi, atau tingkat concurrency yang aman. Untuk keputusan operasional, gabungkan estimasi dengan batas sumber daya, pengujian bertahap, metrik latensi persentil, dan indikator dampak pengguna.
Komentar
0 komentar
Masuk ke akun kamu untuk ikut berkomentar.
Belum ada komentar
Jadilah yang pertama ikut berdiskusi!