Daemon latar belakang untuk utilitas sistem—seperti monitor menubar pengumpul metrik CPU dan level audio—rentan terhadap degradasi memori bertahap. Ketika loop sampling metrik berjalan terlalu agresif tanpa pembersihan buffer alokasi atau penutupan handle file/driver yang benar, konsumsi Resident Set Size (RSS) akan melonjak tajam hingga memicu Linux Out-Of-Memory (OOM) Killer. Artikel ini membahas siklus incident handling lengkap: deteksi dini, eksekusi safe rollback otomatis, analisis post-mortem via pprof, dan tindakan pencegahan struktural.

1. Anatomi Masalah: High-Frequency Metric Sampling Leak

Pada daemon utilitas yang terinspirasi arsitektur modul pengumpul sistem (seperti vorssaint-utils), pembacaan metrik audio CoreAudio/ALSA atau parsing terus-menerus terhadap /proc/stat sering menggunakan slice atau buffer yang dialokasikan ulang pada setiap interval ticks (misalnya setiap 50-100ms). Kegagalan melepas referensi objek atau akumulasi goroutine yang terblokir saat membaca pipe ring-buffer menyebabkan memori bertumbuh linear.

2. Deteksi OOM via Prometheus dan Alertmanager

Memantau metrik proses secara real-time memungkinkan tim mendeteksi anomali sebelum kernel mengirimkan sinyal SIGKILL. Gunakan metrik standar dari node_exporter atau endpoint internal daemon untuk memantau penggunaan memori.

# Alert rule Prometheus untuk mendeteksi degradasi memori cepat
groups:
  - name: daemon_resource_alerts
    rules:
      - alert: DaemonNearOOM
        expr: (process_resident_memory_bytes{job="vorssaint_daemon"} / node_memory_MemTotal_bytes) * 100 > 15
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: "Daemon memory saturation reached dangerous levels"
          description: "vorssaint_daemon RSS memory usage exceeds 15% system capacity, risking kernel OOMKill."

      - alert: DaemonOOMKilled
        expr: increase(node_vmstat_oom_kill[5m]) > 0
        labels:
          severity: page
        annotations:
          summary: "System invoked OOM Killer"

3. Safe Automated Rollback Binary

Saat alert OOM dipicu dan daemon gagal mempertahankan kestabilan, pipeline remediation otomatis harus mengeksekusi rollback ke binary stabil sebelumnya. Hindari overwrite binary langsung saat proses berjalan. Gunakan symlink atomik untuk menukar pointer binary dan restart systemd unit dengan fallback.

#!/usr/bin/env bash
set -euo pipefail

APP_NAME="vorssaint-daemon"
BIN_DIR="/opt/${APP_NAME}/bin"
CURRENT_LINK="${BIN_DIR}/${APP_NAME}"
STABLE_BIN="${BIN_DIR}/${APP_NAME}-stable"
FAILED_BIN="${BIN_DIR}/${APP_NAME}-failed"

echo "[CRITICAL] Memulai rollback darurat untuk ${APP_NAME}..."

# 1. Simpan binary bermasalah untuk ekstraksi debug symbol jika diperlukan
cp -f "$(readlink -f "${CURRENT_LINK}")" "${FAILED_BIN}"

# 2. Swap symlink secara atomik ke versi stabil
ln -sfn "${STABLE_BIN}" "${CURRENT_LINK}.tmp"
mv -Tf "${CURRENT_LINK}.tmp" "${CURRENT_LINK}"

# 3. Restart daemon melalui systemd
systemctl restart "${APP_NAME}.service"

# 4. Validasi proses berjalan normal
sleep 3
if systemctl is-active --quiet "${APP_NAME}.service"; then
    echo "[SUCCESS] Rollback berhasil dieksekusi ke binary stabil."
    exit 0
else
    echo "[FATAL] Daemon gagal start pasca-rollback!" >&2
    exit 1
fi

4. Post-Mortem: Analisis Memory Profile via pprof

Setelah mitigasi darurat selesai, ambil heap dump dari instance uji atau snapshot sebelum proses dihentikan untuk menemukan alokasi objek yang menahan heap.

# Ekstraksi heap snapshot langsung dari endpoint profil Go
curl -s http://localhost:6060/debug/pprof/heap > heap_oom_incident.pb.gz

# Jalankan analisis interaktif via Go tool pprof
go tool pprof -inuse_space heap_oom_incident.pb.gz

Perintah diagnostik dalam CLI pprof:

(pprof) top20 -cum
(pprof) list ReadAudioMetricsBuffer

Daftar alokasi kumulatif (-cum) menunjukkan fungsi mana yang terus menahan alokasi buffer audio tanpa pernah dibersihkan oleh Garbage Collector.

5. Mitigasi Pencegahan Permanen

A. Hard Memory Limit Menggunakan cgroups v2 / Systemd

Cegah daemon merusak stabilitas sistem host dengan membatasi konsumsi memori maksimum langsung pada file unit systemd service.

# /etc/systemd/system/vorssaint-daemon.service.d/override.conf
[Service]
# Batasi alokasi absolut daemon
MemoryHigh=256M
MemoryMax=384M
# Berikan sinyal SIGTERM terlebih dahulu jika batas terlampaui sebelum SIGKILL
MemoryAbortOnError=yes
Restart=on-failure
RestartSec=5s

B. Implementasi Dynamic Polling Backoff

Hindari tight-loop sampling. Terapkan strategi adaptif di level kode: jika sistem mendeteksi beban alokasi naik atau sistem audio idle, naikkan interval sampling metrik secara bertahap.

// Dynamic backoff loop pada Go
func (m *MetricPoller) Start(ctx context.Context) {
    baseInterval := 100 * time.Millisecond
    currentInterval := baseInterval

    ticker := time.NewTicker(currentInterval)
    defer ticker.Stop()

    for {
        select {
        case <-ctx.Done():
            return
        case <-ticker.C:
            if m.audioStream.IsIdle() {
                // Tingkatkan interval saat stream tidak aktif
                currentInterval = min(currentInterval*2, 2*time.Second)
            } else {
                currentInterval = baseInterval
            }
            ticker.Reset(currentInterval)
            
            m.collectMetrics()
        }
    }
}

Kesimpulan

Penanganan OOM pada daemon utilitas membutuhkan pendekatan berlapis. Monitor metrik saturasi secara kontinu menggunakan Prometheus, sediakan mekanisme rollback atomik melalui symlink shell script, batasi blast radius proses menggunakan cgroups systemd, dan implementasikan dynamic interval polling guna menghentikan pemborosan siklus CPU dan alokasi heap.