Optimasi integrasi API dapat mempercepat layanan, tetapi perubahan kecil juga bisa mengubah format respons, melemahkan autentikasi, atau memicu efek samping berulang saat retry. Pendekatan constrained optimization membatasi ruang eksperimen: pilih satu metrik yang ingin diperbaiki, lalu perlakukan kontrak request dan response, autentikasi, idempotensi, serta kompatibilitas sebagai syarat yang tidak boleh dilanggar.

Claude dapat membantu mengusulkan perubahan kecil, tetapi tidak dapat memastikan kebenarannya hanya dengan membaca kode. Setiap eksperimen perlu diuji secara otomatis terhadap fixture, test kontrak, dan baseline yang sama. Hasil yang lebih cepat tidak layak dipertahankan jika melanggar salah satu batas tersebut.

Tetapkan metrik dan batas eksperimen

Gunakan satu metrik sasaran agar hasil mudah ditafsirkan. Contoh di artikel ini memakai latensi p95 pada operasi pengambilan data API. Ukur pada dataset, konfigurasi, dan lingkungan yang sama; jangan membandingkan angka dari beban atau lingkungan berbeda.

Contoh sasaran eksperimen:

  • Metrik yang dioptimalkan: latensi p95 untuk operasi pengambilan data.
  • Batas fungsional: request dan response tetap mengikuti skema serta semantik yang sudah disepakati.
  • Batas keamanan: autentikasi dan pemeriksaan otorisasi tetap berlaku.
  • Batas efek samping: operasi tulis tidak boleh menghasilkan perubahan ganda akibat retry.
  • Batas kompatibilitas: klien yang sudah ada tetap dapat menggunakan API tanpa perubahan yang tidak disepakati.

Tetapkan juga aturan penerimaan sebelum meminta Claude mengubah kode. Misalnya, perubahan hanya diterima jika test kontrak dan test keamanan lolos, operasi berulang dengan kunci idempotensi yang sama tidak menggandakan efek, dan metrik p95 membaik pada pengukuran berulang. Jangan menetapkan ambang angka tanpa mengetahui variasi dan kebutuhan sistem Anda.

Siapkan baseline dan bukti pengujian

Baseline adalah hasil pengukuran dan pengujian dari versi yang belum diubah. Simpan commit, konfigurasi, fixture, hasil test, serta cara menjalankan pengukuran. Dengan begitu, perubahan kandidat dapat dibandingkan secara adil dan dipulihkan jika gagal.

Fixture sebaiknya mewakili kasus yang relevan: respons sukses, data kosong, masukan tidak valid, token tidak sah, batas waktu, dan respons upstream yang gagal. Hindari menyimpan token atau data pribadi dalam fixture. Gunakan data sintetis atau data yang sudah disamarkan.

Test kontrak memeriksa hal yang dijanjikan API, bukan detail internal implementasi. Periksa kode status, nama dan tipe field, perilaku field opsional, serta bentuk kesalahan yang digunakan klien. Untuk autentikasi, pastikan request tanpa kredensial sah ditolak dan identitas yang tidak berwenang tidak dapat mengakses data.

Contoh test ringkas berikut menunjukkan prinsipnya. Sesuaikan nama fungsi dan bentuk respons dengan aplikasi Anda:

def test_retry_with_same_idempotency_key_creates_one_order(client):
    headers = {
        "Authorization": "Bearer test-token",
        "Idempotency-Key": "order-test-42",
    }
    payload = {"item_id": "item-7", "quantity": 1}

    first = client.post("/orders", json=payload, headers=headers)
    retry = client.post("/orders", json=payload, headers=headers)

    assert first.status_code == 201
    assert retry.status_code == first.status_code
    assert retry.json()["id"] == first.json()["id"]
    assert count_orders(item_id="item-7") == 1

Test tersebut mengasumsikan API menjamin pengulangan request dengan kunci yang sama menghasilkan satu pesanan dan respons yang konsisten. Jika kontrak API Anda berbeda, ubah ekspektasinya agar sesuai dengan perilaku yang benar-benar dijanjikan.

Jalankan eksperimen kecil dengan Claude

Berikan Claude konteks yang cukup untuk mengusulkan satu perubahan terisolasi: tujuan metrik, bagian kode yang boleh disentuh, batas yang wajib dipertahankan, dan perintah pengujian yang sudah ada. Minta penjelasan singkat tentang hipotesis perubahan serta risikonya. Jangan meminta perubahan luas sekaligus; perubahan kecil memudahkan penentuan penyebab ketika test gagal.

Contoh instruksi eksperimen:

Tujuan: kurangi latensi p95 pada operasi pengambilan data. Ubah hanya jalur pembacaan yang terkait. Jangan mengubah skema request atau response, autentikasi, otorisasi, perilaku error, atau kompatibilitas klien. Untuk operasi tulis, pertahankan jaminan idempotensi. Jalankan test kontrak dan test integrasi yang tersedia. Tampilkan perubahan dan hasil test; jangan menyatakan perubahan aman jika test tidak membuktikannya.

Setelah Claude menghasilkan perubahan, tinjau diff sebelum menjalankan test. Pastikan perubahan tidak menghapus validasi atau pemeriksaan akses, mengubah semantik error, maupun memperkenalkan retry otomatis pada operasi yang memiliki efek samping.

Evaluasi kandidat terhadap baseline

Gunakan urutan evaluasi yang sama untuk baseline dan setiap kandidat:

  1. Jalankan test kontrak dengan fixture yang sama.
  2. Jalankan test autentikasi, otorisasi, dan idempotensi.
  3. Jalankan test integrasi yang memeriksa perilaku terhadap layanan atau lingkungan uji yang sesuai.
  4. Ukur latensi dengan beban dan konfigurasi yang sama, lalu bandingkan p95 dengan baseline.
  5. Periksa log, perubahan data, dan diff untuk efek samping yang tidak tercakup oleh angka latensi.

Terima kandidat hanya jika semua batas lulus dan metrik sasaran membaik secara konsisten. Jika test gagal atau perubahan tidak memberi hasil yang dapat dibedakan dari variasi pengukuran, pulihkan kandidat dan pertahankan baseline. Satu hasil pengukuran yang lebih baik belum membuktikan bahwa perubahan adalah penyebabnya.

Untuk menjaga eksperimen dapat diaudit, catat commit awal, perubahan kandidat, perintah test, konfigurasi pengukuran, hasil, dan keputusan menerima atau membatalkan. Hindari menjalankan beberapa perubahan sekaligus karena hasilnya sulit dikaitkan dengan satu hipotesis.

Kelola retry dan efek samping dengan hati-hati

Retry berguna ketika kegagalan bersifat sementara, tetapi dapat menggandakan operasi jika server sudah memproses request sementara responsnya hilang. Risiko ini terutama berlaku untuk operasi seperti membuat pesanan, menagih pembayaran, atau mengirim notifikasi.

Untuk operasi tulis, gunakan mekanisme idempotensi yang sesuai dengan kontrak API. Kunci idempotensi harus dikaitkan dengan hasil operasi dan cakupan pemanggil yang tepat; pengulangan request dengan kunci yang sama tidak boleh membuat efek baru. Jangan menganggap metode HTTP atau logika retry klien saja sudah menjamin idempotensi.

Jangan menguji efek samping pada sistem produksi dengan data nyata hanya demi membandingkan latensi. Gunakan lingkungan uji yang aman, dan pastikan test dapat mengidentifikasi apakah operasi terjadi lebih dari sekali. Untuk operasi yang tidak bisa diulang dengan aman, hentikan retry otomatis sampai perilakunya dirancang dan diuji.

Keputusan akhir dan batas pendekatan

Alur ini menyerupai eksperimen optimasi terbatas: Claude membantu menghasilkan kandidat, sementara test dan pengukuran yang dapat diulang menentukan apakah kandidat memenuhi syarat. Claude bukan oracle kebenaran; test pun hanya membuktikan perilaku yang memang dicakup. Tinjauan manusia tetap diperlukan untuk perubahan keamanan, kontrak yang belum terwakili, dan risiko operasional.

Mulailah dari satu jalur API dan satu metrik. Jika fixture atau test kontrak belum cukup untuk memeriksa batas penting, lengkapi pengujian terlebih dahulu sebelum mengotomatiskan eksperimen lebih lanjut. Referensi konteks: autoresearch dengan Claude dan constrained optimization.