Latar Belakang Kasus: Runner Eksekusi AI Code Reviewer
Sistem AI code reviewer modern umumnya mengeksekusi pengujian dinamis, linting otomatis, dan verifikasi runtime terhadap kode kiriman pengguna di dalam lingkungan terisolasi. Arsitektur tipikal terdiri atas antrean pesan (misalnya Redis atau RabbitMQ), orkestrator task runner, dan worker pool berbasis kontainer ephemeral.
Masalah muncul ketika salah satu commit repo yang diuji memicu anomali fatal: host node mendadak tidak responsif, seluruh antrean job terhenti, daemon container mati, dan kernel memicu Out of Memory (OOM) Killer terhadap proses-proses kritis sistem induk, bukan hanya kontainer pengujian terkait.
Gejala dan Investigasi Root Cause
Pemeriksaan awal melalui metrik host menunjukkan lonjakan alokasi memori yang curam hingga batas fisik RAM habis dalam waktu di bawah tiga detik. Analisis log kernel via dmesg dan /var/log/syslog mengungkapkan entri berikut:
kernel: [ 1420.512019] cgroup: fork rejected by pids controller in /user.slice/...
kernel: [ 1421.004123] Out of memory: Kill process 12401 (dockerd) score 420 or sacrifice child
kernel: [ 1421.004998] Killed process 12401 (dockerd) total-vm:2841920kB, anon-rss:512040kB, file-rss:0kBDitemukan bahwa kode kiriman pengguna yang sedang diuji berisi skrip Python non-deterministik atau skrip pengujian berbasis Shell yang memicu fork bomb rekursif:
# Kode dalam pengujian (snippet pemicu masalah)
import os
while True:
os.fork()Mengapa OOM Terjadi pada Host?
Secara default, jika kontainer dijalankan hanya dengan pembatasan memori dasar (misalnya --memory=512m) tanpa pembatasan process ID (PID), proses di dalam kontainer dapat terus menduplikasi dirinya sendiri. Setiap proses baru membutuhkan alokasi memori di level kernel host (seperti alokasi stack, struktur task kernel, page tables, dan socket descriptor).
Ketika jumlah proses melonjak dari ribuan hingga puluhan ribu dalam hitungan milidetik, konsumsi memori internal kernel (SLAB/kernel memory allocation) tidak terikat langsung pada batas limit memori virtual kontainer pada cgroups v1 tanpa konfigurasi memory kernel khusus. Akibatnya, host kehabisan memori global dan OOM Killer mengorbankan proses induk seperti dockerd atau containerd.
Solusi dan Langkah Perbaikan Teknis
1. Konfigurasi Linux cgroups v2
Verifikasi bahwa host menggunakan cgroups v2 secara penuh untuk mempermudah isolasi terpadu (memori, pids, dan I/O diatur dalam pohon hirarki yang sama). Pastikan kernel host terkonfigurasi dengan memeriksa output:
$ mount | grep cgroup2
cgroup2 on /sys/fs/cgroup type cgroup2 (rw,nosuid,nodev,noexec,relatime,nsdelegate)Bila masih menggunakan hybrid/cgroups v1, aktifkan melalui parameter boot kernel pada /etc/default/grub: tambahkan systemd.unified_cgroup_hierarchy=1, lalu jalankan sudo update-grub dan reboot sistem.
2. Penerapan Batas PID dan Resource Terisolasi
Setiap kontainer runner wajib dibatasi jumlah PID maksimum yang diizinkan untuk dibuat. Gunakan flag --pids-limit dan pastikan swap dinonaktifkan atau dibatasi setara batas memori utama agar host tidak mengalami thrashing disk I/O.
Perintah eksekusi kontainer yang aman:
docker run --rm \
--memory=512m \
--memory-swap=512m \
--cpus=1.0 \
--pids-limit=64 \
--read-only \
--security-opt=no-new-privileges:true \
--cap-drop=ALL \
review-sandbox-runner:latestJika menggunakan Docker Compose atau Kubernetes Pod spec, terapkan konfigurasi setara:
# docker-compose.yml snippet
services:
sandbox-runner:
image: review-sandbox-runner:latest
deploy:
resources:
limits:
cpus: '1.0'
memory: 512M
pids: 64Dengan pids: 64, saat fork bomb dieksekusi di dalam kontainer, pemanggilan fungsi fork() akan langsung gagal mengembalikan nilai -1 (Resource temporarily unavailable) setelah mencapai 64 child process, menghentikan eskalasi ke memori host.
3. Implementasi Strict Timeout pada Worker Controller
Jangan mempercayakan masa hidup container pada internal process timeout runtime (seperti runtime Python/Node.js). Terapkan batas waktu tegas di level orkestrator induk menggunakan built-in tool tanpa pustaka tambahan.
Snippet implementasi runner worker menggunakan Python standar (stdlib):
import subprocess
import sys
def execute_sandboxed_job(image_name: str, timeout_seconds: int = 15) -> int:
cmd = [
"docker", "run", "--rm",
"--memory=512m",
"--memory-swap=512m",
"--pids-limit=64",
"--network=none",
image_name
]
try:
proc = subprocess.run(
cmd,
capture_output=True,
text=True,
timeout=timeout_seconds,
check=False
)
print("Exit Code:", proc.returncode)
print("Stdout:", proc.stdout)
return proc.returncode
except subprocess.TimeoutExpired:
print(f"Error: Container melampaui timeout {timeout_seconds}s.", file=sys.stderr)
return 124
if __name__ == "__main__":
sys.exit(execute_sandboxed_job("review-sandbox-runner:latest"))
Verifikasi Isolasi Sandbox
Uji ketahanan lingkungan runner secara langsung dengan memicu fork bomb di dalam kontainer yang telah dikonfigurasi:
docker run --rm --pids-limit=32 alpine:latest sh -c ':(){ :|:& };:'Hasil yang diharapkan pada terminal:
sh: can't fork: Resource temporarily unavailableHost tetap responsif, alokasi memori pada sistem induk tetap stabil di level dasar, dan kontainer keluar secara terkendali tanpa memicu crash pada service Docker daemon atau node runner.
Komentar
0 komentar
Masuk ke akun kamu untuk ikut berkomentar.
Belum ada komentar
Jadilah yang pertama ikut berdiskusi!