Cache artefak shader menghindari kompilasi ulang ketika source dan seluruh input toolchain tetap sama. Agar aman di render farm offline, cache harus menggunakan kunci deterministik, menyimpan artefak secara atomik, dan menganggap kegagalan cache sebagai alasan untuk mengompilasi ulang—bukan sebagai kegagalan render permanen.
Contohnya, beberapa worker menjalankan renderer offline yang sama dan mengompilasi bahasa shading ke format biner. Tanpa cache bersama, setiap worker dapat mengulang pekerjaan yang sama. Dengan desain yang tepat, worker dapat memakai hasil kompilasi yang kompatibel tanpa bergantung pada akses internet atau layanan eksternal.
1. Tentukan kunci cache dari semua input kompilasi
Kunci cache harus mewakili semua input yang dapat mengubah hasil kompilasi. Source saja tidak cukup: perubahan compiler, target, opsi, atau dependensi shader dapat menghasilkan artefak berbeda dari source yang sama.
Susun representasi input yang stabil, lalu hitung hash kriptografis seperti SHA-256. Masukkan setidaknya:
- Konten source shader dan konten seluruh berkas yang diimpor atau disertakan.
- Identitas compiler, idealnya hash biner atau paket toolchain yang dipasang, bukan hanya nama atau nomor versinya.
- Versi spesifikasi bahasa shading jika compiler memakainya secara terpisah.
- Target artefak, seperti arsitektur atau backend renderer yang relevan.
- Opsi kompilasi yang memengaruhi output, termasuk mode optimisasi dan definisi makro.
Serialisasi input secara kanonis sebelum hashing: urutkan dependensi berdasarkan jalur logis, gunakan format dan encoding yang tetap, serta bedakan batas antarbidang. Hindari memasukkan waktu modifikasi berkas sebagai pengganti konten. Hindari pula jalur absolut worker jika jalur tersebut tidak memengaruhi hasil, karena itu membuat cache tidak dapat digunakan bersama lintas mesin.
Jika compiler bergantung pada lingkungan tertentu, seperti versi pustaka runtime atau fitur CPU, masukkan identitas lingkungan tersebut hanya ketika faktor itu benar-benar memengaruhi kompatibilitas atau output. Cache yang terlalu sedikit komponennya berisiko memberikan artefak salah; cache yang terlalu banyak komponennya menurunkan tingkat penggunaan ulang.
2. Pilih penyimpanan bersama, lokal, atau gabungan
Penyimpanan bersama
Direktori jaringan atau penyimpanan objek internal memungkinkan worker memakai artefak yang sama. Pilihan ini mengurangi duplikasi kompilasi dan kapasitas cache yang berulang, tetapi menambah latensi akses serta ketergantungan pada ketersediaan dan performa penyimpanan bersama.
Gunakan penyimpanan bersama jika worker memiliki toolchain dan target yang kompatibel, serta jaringan farm mampu melayani pembacaan serentak. Simpan artefak dengan nama berbasis hash, misalnya cache/<prefix-hash>/<hash>, agar setiap kunci menunjuk ke objek yang tidak berubah.
Cache lokal worker
Cache lokal memberi akses cepat dan tetap dapat berfungsi saat penyimpanan bersama sementara tidak tersedia. Namun, setiap worker dapat menyimpan salinan yang sama, dan hasil lokal tidak otomatis tersedia bagi worker lain. Terapkan batas kapasitas dan kebijakan penghapusan, misalnya penghapusan berdasarkan waktu akses atau ukuran.
Pola gabungan
Pola yang sering praktis adalah memeriksa cache lokal terlebih dahulu, lalu cache bersama. Jika keduanya tidak memiliki artefak, worker mengompilasi dan menerbitkan hasil ke penyimpanan bersama, kemudian menyimpan salinan lokal. Jika penyimpanan bersama tidak tersedia, worker dapat menggunakan cache lokal yang valid atau mengompilasi tanpa menyimpan hasil bersama, sesuai kebijakan operasional.
Pola gabungan menyeimbangkan latensi dan penggunaan ulang, tetapi membutuhkan aturan jelas tentang validitas artefak. Cache lokal tidak boleh mengabaikan versi toolchain atau identitas target yang tercakup dalam kunci.
3. Alur lookup, kompilasi, dan publikasi yang aman
- Worker membaca source dan seluruh dependensi, lalu membentuk kunci deterministik.
- Worker mencari artefak berdasarkan kunci di cache lokal, kemudian cache bersama jika digunakan.
- Jika artefak ditemukan, worker memverifikasi checksum dan formatnya sebelum dipakai.
- Jika artefak tidak ditemukan, worker mencoba mengambil lock untuk kunci tersebut. Worker yang gagal memperoleh lock menunggu singkat lalu memeriksa cache lagi.
- Pemegang lock mengompilasi ke berkas sementara, memvalidasi output, lalu menerbitkannya secara atomik.
- Worker melepas lock dan memakai artefak yang sudah diterbitkan. Jika kompilasi gagal, worker melaporkan kegagalan dan tidak menerbitkan artefak.
Lock mencegah cache stampede: banyak worker mengompilasi kunci yang sama secara serentak setelah cache miss. Lock sebaiknya memiliki batas waktu atau mekanisme lease agar worker yang mati tidak mengunci kunci selamanya. Jika sistem lock memakai lease, gunakan token pemilik atau mekanisme fencing agar pemegang lock lama yang terlambat tidak menimpa hasil pemegang lock baru.
Jangan menulis langsung ke nama artefak final. Tulis ke lokasi sementara pada sistem penyimpanan yang sama, validasi hasilnya, lalu lakukan penggantian atomik jika didukung. Untuk penyimpanan objek tanpa penggantian atomik, gunakan penulisan bersyarat atau unggah ke nama unik, validasi, lalu publikasikan referensi final melalui mekanisme yang konsisten.
Pseudocode worker
key = hash(canonical(source, dependencies, compiler, target, options))
artifact = cache.get(key)
if artifact and validate(artifact):
return render(artifact)
if not lock.acquire(key, lease=timeout):
wait_briefly()
artifact = cache.get(key)
if artifact and validate(artifact):
return render(artifact)
try:
artifact = cache.get(key)
if artifact and validate(artifact):
return render(artifact)
temp = compile_to_temporary_file(inputs)
validate_or_fail(temp)
cache.publish_atomically(key, temp)
return render(temp)
finally:
lock.release_if_owner(key)
Pemeriksaan ulang setelah memperoleh lock penting karena worker lain mungkin sudah menyelesaikan kompilasi saat worker menunggu. Detail API lock dan publikasi bergantung pada sistem penyimpanan; pseudocode ini menunjukkan urutan dan syaratnya, bukan antarmuka produk tertentu.
4. Invalidation, kerusakan, dan kegagalan worker
Invalidasi melalui identitas input
Utamakan invalidasi berbasis kunci daripada menghapus seluruh cache setiap kali bahasa shading atau toolchain berubah. Perubahan source, aturan bahasa, compiler, opsi, atau target akan menghasilkan kunci baru sehingga artefak lama tidak lagi cocok. Cantumkan identitas toolchain yang benar-benar dipakai dalam job; jangan mengandalkan label versi yang mungkin sama untuk build berbeda.
Artefak lama dapat dibersihkan dengan kebijakan retensi terpisah, misalnya batas umur atau kapasitas. Penghapusan ini adalah pengelolaan ruang, bukan mekanisme kebenaran. Untuk perubahan aturan yang tidak tercermin dalam identitas compiler atau input lain, naikkan identitas format atau kebijakan cache secara eksplisit.
Artefak korup dan worker gagal
Periksa checksum dan validasi dasar format sebelum artefak dipakai. Jika validasi gagal, tandai artefak sebagai rusak, pindahkan atau hapus sesuai kemampuan penyimpanan, lalu kompilasi ulang. Hindari membiarkan satu artefak rusak terus menghasilkan kegagalan render pada setiap pembacaan.
Jika worker mati sebelum publikasi, berkas sementara dapat ditinggalkan, tetapi tidak boleh terlihat sebagai artefak final. Lease lock perlu kedaluwarsa atau dipulihkan setelah worker gagal. Jika worker mati setelah publikasi, artefak final tetap dapat dipakai apabila telah divalidasi dan ditulis dengan benar. Kegagalan penyimpanan bersama sebaiknya dibedakan dari kegagalan compiler agar sistem dapat memilih fallback, retry terbatas, atau menghentikan job sesuai kebijakan.
5. Trade-off dan metrik operasional
Desain cache menukar konsistensi, latensi, dan biaya. Cache bersama meningkatkan penggunaan ulang, tetapi menambah beban jaringan dan dampak gangguan penyimpanan. Cache lokal mempercepat pembacaan, tetapi memerlukan ruang pada setiap worker dan mengurangi berbagi lintas mesin. Cache gabungan mengurangi latensi berulang, dengan konsekuensi penanganan dua tingkat penyimpanan dan kebijakan pemulihan yang lebih kompleks.
Catat metrik berikut agar masalah terlihat sebelum memengaruhi banyak render:
- Hit rate cache lokal dan bersama, dipisahkan menurut target atau kelas job.
- Miss rate dan jumlah kompilasi per kunci; lonjakan dapat menandakan perubahan toolchain atau kunci yang tidak stabil.
- Durasi lookup, kompilasi, validasi, dan publikasi.
- Jumlah worker yang menunggu lock, waktu tunggu, serta lock yang kedaluwarsa.
- Jumlah checksum gagal, artefak korup, kompilasi gagal, retry, dan publikasi gagal.
- Ukuran cache, penggunaan ruang, serta jumlah artefak yang dihapus.
Uji perilaku dengan dua worker yang meminta kunci sama, perubahan compiler yang seharusnya menghasilkan kunci baru, proses yang mati saat kompilasi, dan artefak yang checksum-nya sengaja dibuat tidak cocok. Pengujian ini memeriksa kebenaran dan pemulihan tanpa bergantung pada asumsi bahwa cache selalu tersedia.
Prinsip praktis: cache adalah optimasi, bukan sumber kebenaran. Jika artefak hilang atau tidak valid, sistem harus dapat membangun ulang dari input dan toolchain yang teridentifikasi secara tepat.
Komentar
0 komentar
Masuk ke akun kamu untuk ikut berkomentar.
Belum ada komentar
Jadilah yang pertama ikut berdiskusi!