Mengembangkan fork atau port engine browser kustom berbasis Gecko—seperti proyek embedding mobile Reynard Browser—memerlukan verifikasi standar web yang ketat. Web Platform Tests (WPT) menyediakan rangkaian tes lintas browser standar untuk DOM API, CSS, dan rendering. Menjalankan jutaan tes WPT di Continuous Integration (CI) tanpa strategi isolasi dan handling flakiness menyebabkan build lambat dan false positive berulang. Artikel ini mendokumentasikan implementasi pipeline uji regresi WPT headless di CI untuk memverifikasi kompatibilitas tanpa memblokir siklus rilis harian.
Arsitektur WPT Headless dan Mocking Layer Native
Saat menjalankan engine Gecko pada target mobile (seperti iOS/macOS headless wrapper), dependensi pada subsistem platform native—seperti WebKit bridging, soket networking platform, dan IPC native UI—harus dimatikan atau di-stub. Engine harus dijalankan dalam mode headless deterministik via test runner native berbasis C++ atau Rust yang mengimplementasikan protokol Marionette / WebDriver.
Lapisan I/O jaringan native digantikan dengan HTTP forwarder lokal menuju server wptserve bawaan WPT. IPC native ke thread UI digantikan dengan test harness synchronous memory loopback:
// Native embedding layer: Mock platform IPC & networking routing
void ReynardTestHarness::InitializeHeadlessContext() {
// Nonaktifkan akselerasi GPU platform; gunakan software rasterizer (pixman/webrender software)
Preferences::SetBool("gfx.webrender.software", true);
Preferences::SetBool("headless.mode", true);
// Redirect internal network request ke port wptserve lokal (127.0.0.1:8000)
Preferences::SetCString("network.proxy.type", 1);
Preferences::SetCString("network.proxy.http", "127.0.0.1");
Preferences::SetInt("network.proxy.http_port", 8000);
Preferences::SetBool("network.proxy.no_proxies_on", "localhost, 127.0.0.1");
// Stub native mobile message loop IPC
RegisterMockPlatformBridge([](const char* message, const char* payload) {
// Tangani synchronous API call untuk permission dialogs dan clipboard
if (strcmp(message, "RequestPermission") == 0) {
return "{\"state\": \"granted\"}";
}
return "{}";
});
}Konfigurasi Runner Minimal dan Isolasi Eksekusi
Runner WPT (./wpt run) membutuhkan profil browser target kustom. Agar tidak mencemari state disk antartes, setiap worker WPT harus berjalan dalam direktori profil terisolasi dengan batas alokasi memori ketat via cgroups atau flag proses.
# runner-config.json
{
"browser": {
"name": "reynard-gecko",
"binary": "./build/bin/reynard-headless",
"args": [
"--headless",
"--no-sandbox",
"--marionette-port=2828",
"--override-profile=/tmp/wpt-profile-{worker_id}"
]
},
"paths": {
"wpt_root": "./tests/wpt",
"metadata": "./testing/wpt-metadata"
}
}Perintah eksekusi runner dibatasi pada cakupan subset pengujian spesifik per pipeline matrix CI:
./wpt run \
--webdriver-binary ./build/bin/reynard-driver \
--binary ./build/bin/reynard-headless \
--metadata ./testing/wpt-metadata \
--processes 4 \
--run-by-dir 2 \
--timeout-multiplier 2 \
--log-wptreport ./artifacts/wpt-report.json \
reynard-gecko \
dom/nodes/ css/css-grid/Manajemen Flakiness Menggunakan Metadata Expectations
Engine kustom yang sedang aktif dikembangkan sering kali belum mengimplementasikan seluruh spesifikasi web secara lengkap. Membiarkan tes gagal tanpa anotasi akan mengacaukan status hijau pipeline CI. WPT mendukung file metadata berekstensi .ini berdampingan dengan tes untuk mendokumentasikan baseline status terkini.
Gunakan konfigurasi metadata untuk menetapkan ekspektasi spesifik arsitektur atau menandai tes flaky ke status karantina (quarantine):
# testing/wpt-metadata/dom/nodes/ParentNode-querySelector-All.html.ini
[ParentNode-querySelector-All.html]
type: testharness
[Selector syntax error handles Unicode planes]
expected: FAIL
bug: https://github.com/minh-ton/reynard-browser/issues/104
[Complex sub-tree query with namespace]
# Tandai flaky: lulus atau gagal tidak memicu exit code 1 pada CI
expected:
if os == "linux": [PASS, FAIL]
PASS
quarantine: trueProses integrasi ini memastikan bahwa regresi baru (misalnya tes yang sebelumnya PASS tiba-tiba menghasilkan FAIL) langsung menggagalkan CI, sementara failure yang sudah terdokumentasi dilewati.
Deteksi Regresi Rendering via RefTest Screenshot Diffing
CSS Reftests memvalidasi rendering dengan membandingkan screenshot buffer halaman tes terhadap screenshot halaman referensi. Render rasterizer harus identik secara pixel. Jika terdapat perbedaan anti-aliasing font atau rounding subpixel lintas lingkungan CI, assertion diffing harus menerapkan threshold toleransi terkontrol.
#!/usr/bin/env python3
# scripts/reftest-diff.py
import sys
from PIL import Image, ImageChops
def compare_render_output(test_png, ref_png, max_diff_pixels=5, per_channel_tolerance=2):
img_test = Image.open(test_png).convert("RGBA")
img_ref = Image.open(ref_png).convert("RGBA")
if img_test.size != img_ref.size:
print(f"DIMENSION MISMATCH: {img_test.size} vs {img_ref.size}")
return False
diff = ImageChops.difference(img_test, img_ref)
stat = diff.getdata()
failing_pixels = 0
for pixel in stat:
# Cek apakah perbedaan RGBA melebihi batas toleransi per-channel
if any(channel > per_channel_tolerance for channel in pixel):
failing_pixels += 1
if failing_pixels > max_diff_pixels:
print(f"FAIL: Rendering divergence detected. {failing_pixels} pixels differ.")
diff.save("diff-output.png")
return False
print("PASS: Rendering within acceptable threshold.")
return True
if __name__ == "__main__":
passed = compare_render_output(sys.argv[1], sys.argv[2])
sys.exit(0 if passed else 1)Pipeline GitHub Actions CI
Workflow GitHub Actions mengompilasi engine headless, mengisolasi runtime WPT, menjalankan test harness, dan memblokir PR hanya jika terjadi regresi di luar ekspektasi metadata:
name: WPT Regression Suite
on:
pull_request:
paths:
- 'dom/**'
- 'layout/**'
- 'gfx/**'
jobs:
wpt-headless:
runs-on: ubuntu-22.04
steps:
- uses: actions/checkout@v4
with:
submodules: true
- name: Setup System Dependencies
run: |
sudo apt-get update
sudo apt-get install -y libpixman-1-dev libfontconfig1-dev xvfb
- name: Build Headless Target
run: |
./mach build layout/dom headless-runner
- name: Run Web Platform Tests
run: |
xvfb-run --auto-servernum ./wpt run \
--log-wptreport ./wpt-results.json \
--metadata ./testing/wpt-metadata \
--processes 2 \
reynard-gecko \
dom/ css/css-flexbox/
- name: Validate Against Regressions
run: |
# Evaluasi report: jika ada tes PASS berubah menjadi FAIL, hentikan pipeline
python3 scripts/evaluate-wptreport.py \
--report ./wpt-results.json \
--fail-on-unexpectedCatatan: Jalankan runner di dalam lingkungan display virtual (xvfb-run) bahkan saat menggunakan mode headless jika platform layer engine Gecko Anda tetap menginisialisasi hook konteks visual native backend X11/Wayland.
Komentar
0 komentar
Masuk ke akun kamu untuk ikut berkomentar.
Belum ada komentar
Jadilah yang pertama ikut berdiskusi!