CI untuk NPC Gemini perlu menguji tiga hal secara terpisah: apakah ucapan pemain dipetakan ke intent yang benar, apakah aturan game menolak tindakan yang tidak sah, dan apakah keluaran model tetap sesuai kontrak. Jangan panggil API Gemini dalam setiap tes CI; respons model dapat berubah dan panggilan live menambah biaya serta sumber kegagalan eksternal.
Gunakan fixture respons untuk sebagian besar tes, lalu jalankan smoke test live secara terjadwal atau sebelum rilis. Dengan pemisahan ini, kegagalan dapat dilokalisasi: parser, aturan deterministik, atau integrasi model.
Pisahkan tiga lapisan yang diuji
Parser intent
Parser mengubah ucapan menjadi struktur yang dapat diperiksa, misalnya intent ask_directions atau request_item, beserta entitas seperti nama lokasi. Parser sebaiknya menangani keluaran model yang tidak valid dan tidak membiarkan teks bebas langsung menjalankan aksi game.
Aturan gameplay
Lapisan gameplay memutuskan apakah tindakan yang diminta boleh dilakukan berdasarkan keadaan game. Contohnya: pemain belum memenuhi syarat untuk menerima misi, NPC tidak memiliki barang yang diminta, atau tingkat kesulitan tidak boleh dinaikkan melewati batas yang ditetapkan. Aturan ini harus deterministik dan tidak bergantung pada jawaban Gemini.
Perilaku model
Lapisan model mengirim konteks dan instruksi, lalu menerima keluaran terstruktur. Uji kontrak integrasi, validasi keluaran, penanganan error, dan pemetaan respons. Jangan menjadikan penilaian atas teks generatif sebagai satu-satunya pengaman fair play; keputusan yang berdampak pada state game tetap harus divalidasi oleh kode.
Gunakan fixture untuk tes utama
Simpan contoh input dan respons model sebagai fixture berversi. Tes kemudian menguji pemetaan intent dan aturan game tanpa koneksi jaringan. Berikut contoh sederhana menggunakan modul test bawaan Node.js; fungsi aplikasi ditulis sebagai pseudocode agar dapat disesuaikan dengan proyek.
// test/npc.test.js
import test from 'node:test';
import assert from 'node:assert/strict';
import { parseIntent, applyNpcAction } from '../src/npc.js';
import fixtures from './fixtures/npc-responses.json' with { type: 'json' };
test('memetakan permintaan arah dari fixture', () => {
const intent = parseIntent(fixtures.directions);
assert.deepEqual(intent, {
name: 'ask_directions',
location: 'menara tua'
});
});
test('menolak perubahan kesulitan di atas batas', () => {
const result = applyNpcAction(
{ name: 'set_difficulty', level: 99 },
{ maxDifficulty: 5 }
);
assert.equal(result.ok, false);
assert.equal(result.reason, 'difficulty_out_of_range');
});
Contoh fixture:
{
"directions": {
"intent": "ask_directions",
"entities": { "location": "menara tua" }
}
}
Sesuaikan format impor JSON dan perintah tes dengan versi runtime serta konfigurasi proyek. Jika parser menerima teks mentah, fixture dapat menyimpan teks itu bersama keluaran terstruktur yang diharapkan.
Uji ambiguitas, batas, dan fair play
Bangun kumpulan kasus kecil yang mewakili risiko nyata. Untuk input ambigu, seperti “bawa aku ke sana” tanpa lokasi yang jelas, hasil yang diharapkan biasanya meminta klarifikasi, bukan menebak target. Untuk batas tingkat kesulitan, uji nilai minimum, maksimum, dan nilai di luar rentang. Pastikan nilai yang ditolak tidak mengubah state game.
Uji larangan curang dengan memastikan model tidak dapat memberi hadiah, membuka area terkunci, mengubah inventaris, atau menaikkan kemampuan hanya karena pemain memintanya. Bahkan jika model menghasilkan instruksi semacam itu, lapisan gameplay harus menolaknya. Uji juga respons malformed, intent yang tidak dikenal, entitas hilang, timeout, dan kegagalan API pada batas integrasi.
Struktur tes dan pipeline CI
Untuk tim kecil, struktur berikut cukup untuk memisahkan tanggung jawab tanpa menambah kerangka kerja khusus:
test/
fixtures/
npc-responses.json
parser.test.js
gameplay-rules.test.js
model-contract.test.js
live-smoke.test.js
Urutan pipeline yang praktis:
- Jalankan tes parser dan aturan gameplay pada setiap perubahan.
- Jalankan tes kontrak dengan fixture untuk memeriksa validasi respons dan penanganan error.
- Jalankan pemeriksaan format, tipe, atau build yang sudah digunakan proyek.
- Jalankan smoke test live secara manual, terjadwal, atau pada alur rilis yang memiliki kredensial API.
Jangan simpan kunci API dalam repositori. Berikan kredensial hanya pada job yang memerlukan akses live, dan batasi kasus smoke test agar penggunaan API terkendali.
Smoke test live dan perubahan output model
Smoke test live berguna untuk memastikan kredensial, konektivitas, konfigurasi model, dan jalur integrasi berfungsi bersama. Jalankan setelah perubahan prompt atau konfigurasi model yang berisiko, secara berkala untuk mendeteksi gangguan layanan, atau sebelum rilis. Batasi cakupannya pada beberapa skenario stabil; jangan mengandalkannya untuk menguji seluruh kombinasi gameplay.
Output model dapat berubah tanpa perubahan kode aplikasi. Karena itu, validasi skema secara ketat, tangani intent yang tidak dikenal dengan aman, dan jangan menguji kecocokan teks secara persis kecuali teks memang bagian dari kontrak. Jika smoke test gagal, simpan input, keluaran yang sudah disamarkan bila perlu, versi konfigurasi, dan alasan validasi. Perbarui fixture hanya setelah meninjau perubahan dan memastikan aturan gameplay tetap berlaku; jangan memperbarui snapshot secara otomatis untuk menghilangkan kegagalan.
Kriteria lulus yang dapat diterapkan
- Semua tes deterministik lulus tanpa panggilan API langsung.
- Input ambigu meminta klarifikasi atau menghasilkan fallback aman.
- Nilai kesulitan di luar batas ditolak dan tidak mengubah state.
- Permintaan curang tidak dapat melewati validasi gameplay.
- Respons malformed, intent tak dikenal, dan kegagalan integrasi ditangani tanpa aksi tak sah.
- Smoke test live, jika dijalankan, lulus pemeriksaan koneksi dan kontrak keluaran; kegagalan tidak otomatis mengubah fixture.
Mulai dengan kasus yang melindungi state dan aturan paling penting. Tambahkan fixture ketika bug ditemukan agar regresi yang sama dapat diuji deterministik pada perubahan berikutnya.
Komentar
0 komentar
Masuk ke akun kamu untuk ikut berkomentar.
Belum ada komentar
Jadilah yang pertama ikut berdiskusi!