Untuk menjaga stabilitas merge build, strategi testing regression harus menyatu dengan alur Version Control System (VCS). Dengan menggabungkan hook di sisi developer, gating di pipeline Continuous Integration, dan verifikasi replay commit, tim dapat mendeteksi dan memperbaiki flaky test sebelum memasuki cabang utama.

Memahami Risiko Flaky Merge Build dalam Konteks jj jj jj jj jj

Tren jj jj jj jj jj (https://caiustheory.com/jj-jj-jj-jj-jj/) menekankan pentingnya 3 lapisan reliability: difensif dari pengembang hingga pipeline. Dalam konteks VCS, itu berarti:

  • Mencegah modifikasi menginjeksi flaky test sebelum push.
  • Memastikan pipeline CI memverifikasi perubahan secara deterministik.
  • Menyediakan rekaman ulang (replay) commit untuk audit cepat saat terjadi regresi.

Tanpa pendekatan ini, merge build menjadi kerap gagal karena flake yang sulit diidentifikasi, menyalahkan pipeline, bukan kode.

Strategi Testing Regression di VCS

1. Hook Lokal untuk Regresi Dini

Hook pre-commit atau pre-push memaksa developer menjalankan subset regression test yang terjangkau sebelum mengirimkan commit. Hook juga bisa menahan commit jika ada test yang belum dijalankan atau konfigurasi environment belum terdeteksi.

# .git/hooks/pre-commit
#!/bin/sh
# jalankan unit test yang sudah distandarisasi
./scripts/run-regression.sh --focus=smoke || exit 1

Hook ini bekerja karena selalu dijalankan dalam checkout lokal. Jika skrip regression gagal, commit tidak akan diteruskan ke remote, sehingga menjaga cabang feature tetap bersih.

2. CI Gating yang Memprioritaskan Regression Test

Di server CI, buat gating pipeline di level merge request yang mencakup:

  • Test suite deterministik (misalnya test berbasis tag “regression”).
  • Pengelompokan test paralel untuk menghindari timeout.
  • Ketentuan rerun otomatis bila test gagal sekali dalam satu build untuk memvalidasi flaky.

Contoh workflow GitHub Actions:

name: Regression Gate
on: [pull_request]
jobs:
  regression:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - run: ./scripts/setup-env.sh
      - run: ./scripts/run-regression.sh --mode=ci
        env:
          CI_RUN_ID: ${{ github.run_id }}

Dengan gating ini, CI menolak merge jika regression test gagal, yang langsung mencegah flaky masuk ke cabang utama.

3. Verifikasi Replay Commit sebelum Merge

Ketika hasil regression test tidak konsisten, mekanisme replay commit menjadi krusial. Ini melibatkan:

  1. Membuat branch replay dari commit asli.
  2. Menjalankan ulang test dengan log dan environment yang sama.
  3. Membandingkan hasil dengan run sebelumnya untuk mengidentifikasi determinisme.

Replay commit membantu menjawab pertanyaan: “Apakah flaky dibawa oleh commit ini atau disebabkan faktor eksternal?” sehingga tim bisa memutuskan antara memperbaiki test atau memperkuat pipeline.

Checklist Praktis untuk Setiap Merge Request

  • ✅ Hook lokal menjalankan regression subset sebelum push.
  • ✅ CI gating memvalidasi label test regression dan rerun jika diperlukan.
  • ✅ Log test disimpan agar dapat dibandingkan saat replay.
  • ✅ Commit replay direplikasi bila test menunjukkan hasil berbeda.
  • ✅ Dokumentasi flaky test diperbarui setelah debugging.

Checklist ini membantu tim konsisten menerapkan strategi dalam setiap iterasi.

Workflow Git + CI untuk Menjamin Reliability

  1. Developer membuat branch, menjalankan hook lokal.
  2. Push ke remote memicu CI yang hanya akan mengizinkan merge jika regression gate lulus.
  3. Jika test gagal, tim membuat replay branch dan menelusuri log.
  4. Setelah disetujui, merge build dijalankan ulang sebelum merge final.

Workflow ini selaras dengan prinsip jj dan menjamin perubahan tidak melewati lapisan reliability tanpa verifikasi.

Metrik Deteksi Regresi dan Flaky Test

Pantau metrik berikut sebelum release:

  • Flake rate: persentase test yang butuh rerun untuk lulus.
  • Regression fail rate: jumlah merge block yang berkaitan dengan regression.
  • Replay success rate: persentase replay commit yang menghasilkan hasil konsisten.
  • MTTR regression: waktu rata-rata untuk memperbaiki regression yang gagal gating.

Dengan metrik ini, tim dapat melihat apakah strategi testing regression di VCS benar-benar menekan flaky build.

Kesimpulan

Dengan mengintegrasikan hook lokal, gating CI, dan replay commit, tim teknis dapat secara proaktif mencegah regression test flaky merusak merge build. Strategi ini mengikuti tren jj jj jj jj jj dalam menjaga reliability berlapis dan memberi keyakinan bahwa setiap merge benar-benar tervalidasi.