Rate limit berlapis membantu memperlambat scraping massal konten publik tanpa mengunci pembaca yang sah atau crawler tepercaya. Terapkan batas pada beberapa lapisan—misalnya per IP, akun, dan pola permintaan—lalu gunakan respons bertahap berdasarkan risiko, bukan satu aturan yang memblokir semua klien.
Konten yang dapat dibaca publik juga dapat dikumpulkan dan digunakan ulang oleh pihak lain. Esai The Private Capture of Public Genius menjadi konteks untuk risiko tersebut, bukan bukti bahwa setiap trafik otomatis berniat buruk. Tujuan perlindungan teknis adalah mengurangi pengambilan berskala besar, bukan menganggap akses publik sebagai akses rahasia.
Model ancaman dan batas perlindungan
Scraper dapat meminta halaman melalui HTTP biasa, mengikuti pagination, mengulang permintaan dari beberapa alamat IP, atau menyebarkan trafik melalui jaringan proxy. Sebagian klien otomatis juga mengirimkan user-agent yang tampak seperti browser. Karena itu, rate limit per IP berguna sebagai garis pertahanan awal, tetapi tidak cukup sebagai satu-satunya kontrol.
Bedakan pola penggunaan yang ingin dilindungi:
- Pembaca manusia: membuka beberapa artikel dan berpindah halaman dengan pola yang bervariasi.
- Crawler tepercaya: mengindeks halaman sesuai kebijakan situs dan identitas yang dapat diverifikasi.
- Pengambil konten massal: mengakses banyak artikel secara berurutan, cepat, atau berulang, termasuk dengan menyebarkan permintaan ke banyak IP.
Rate limit tidak dapat memastikan bahwa konten tidak akan disalin. Pembatasan yang terlalu agresif juga dapat mengganggu pengguna di balik NAT, jaringan kantor, atau layanan seluler yang berbagi alamat IP. Tetapkan tujuan yang terukur: menekan laju pengambilan dan biaya operasional, sambil mempertahankan akses normal.
Susun rate limit di beberapa lapisan
Batas per IP
Gunakan batas per IP untuk membatasi lonjakan trafik dari satu sumber. Terapkan aturan pada jalur yang relevan—misalnya halaman artikel dan endpoint pencarian—alih-alih memberi batas identik pada seluruh situs. Berikan toleransi burst agar pemuatan halaman normal tidak langsung ditolak.
Jangan menganggap IP sebagai identitas pengguna. Pengunjung dapat berbagi IP, sedangkan scraper dapat mengganti IP. Jika aplikasi berada di belakang proxy atau CDN, hanya percayai header IP asal yang ditulis oleh proxy tepercaya. Menggunakan header dari permintaan langsung dapat membuat klien memalsukan alamat sumber.
Batas per akun dan sesi
Untuk pengguna yang masuk, tambahkan kuota per akun atau sesi. Batas ini melengkapi batas IP dan membantu membedakan beberapa pengguna sah di jaringan yang sama. Akun juga dapat dibagikan atau dibuat otomatis, sehingga batas akun bukan pengganti kontrol lain.
Jika konten memang publik, jangan mewajibkan login semata-mata untuk menghindari scraping tanpa mempertimbangkan dampaknya pada pembaca dan aksesibilitas. Gunakan batas akun terutama untuk fitur yang memang memerlukan akun, seperti API atau ekspor.
Batasi pagination dan endpoint berbiaya tinggi
Tetapkan nilai maksimum untuk parameter seperti nomor halaman, ukuran halaman, atau jumlah hasil. Tolak atau normalkan nilai yang di luar rentang yang didukung. Hindari endpoint yang memungkinkan satu permintaan mengambil koleksi tanpa batas, dan berikan batas lebih ketat pada pencarian atau filter yang mahal bagi database.
Pagination yang stabil—misalnya berbasis kursor—dapat mengurangi masalah ketika data berubah selama penelusuran, tetapi tidak menghentikan scraper dengan sendirinya. Batasi juga laju perpindahan antarhalaman dan jumlah hasil per permintaan. Jangan mengandalkan URL sulit ditebak sebagai kontrol akses untuk konten publik.
Deteksi pola akses tanpa bergantung pada satu sinyal
Gabungkan beberapa sinyal yang dapat diamati, lalu evaluasi sebagai pola. Contohnya adalah jumlah artikel unik yang diminta dalam rentang waktu tertentu, permintaan halaman berurutan dengan jeda sangat konsisten, frekuensi respons cache, dan jumlah permintaan yang gagal. Sinyal tersebut dapat menunjukkan perilaku otomatis, tetapi tidak membuktikan niat atau identitas klien.
User-agent dapat dipalsukan. Alamat IP dapat berubah atau dipakai bersama. CAPTCHA pun menambah hambatan bagi pengguna dan bukan verifikasi identitas yang sempurna. Jangan memblokir hanya karena satu sinyal; gunakan kombinasi sinyal dan ambang yang diuji terhadap trafik nyata.
Untuk crawler tepercaya, verifikasi identitas dengan mekanisme yang sesuai dengan crawler tersebut. Jika verifikasi menggunakan DNS, jangan menerima klaim user-agent saja: periksa bahwa alamat IP cocok dengan hasil DNS yang diharapkan dan validasi nama balik sesuai prosedur crawler. Simpan daftar crawler yang diizinkan secara sempit dan tinjau berkala.
Berikan respons bertahap
Respons bertahap mengurangi dampak salah deteksi. Mulai dari tindakan yang paling ringan dan naikkan hanya jika pola berulang atau risikonya meningkat:
- Amati: catat pola mencurigakan tanpa mengubah respons, lalu ukur dampaknya pada pembaca.
- Perlambat: tambahkan jeda atau kurangi laju untuk sumber yang melewati ambang.
- Batasi: kirim status HTTP 429 untuk klien yang melampaui kuota, dengan
Retry-Afterbila aplikasi dapat menentukan waktu tunggu. - Tantang atau blokir sementara: gunakan tantangan untuk pola berisiko tinggi dan blokir sementara jika pelanggaran terus berulang.
Pastikan respons 429 tidak berubah menjadi kesalahan server, dan jangan mengungkapkan rincian internal aturan deteksi. Tetapkan masa berlaku pembatasan agar satu kejadian tidak menyebabkan pemblokiran permanen. Untuk crawler tepercaya yang melampaui batas, berikan jalur penanganan atau batas yang sesuai dengan kebutuhan pengindeksan.
Penerapan dan pemantauan operasional
Tempatkan pembatasan sedekat mungkin dengan lapisan yang memiliki konteks dan kapasitas yang tepat. CDN atau reverse proxy dapat menyerap lonjakan sebelum mencapai aplikasi. Middleware aplikasi dapat menerapkan aturan per akun dan per endpoint. Penyimpanan bersama diperlukan jika penghitung harus konsisten di beberapa instance; penghitung lokal per proses dapat memberi batas yang berbeda pada setiap instance.
Catat metrik agregat, bukan isi artikel yang diminta. Pantau jumlah permintaan yang diizinkan, diperlambat, dan ditolak; respons 429; sumber yang mencapai ambang; distribusi permintaan per endpoint; serta rasio kesalahan dan latensi. Segmentasikan metrik menurut kategori klien dan jalur, tetapi hindari menyimpan data pribadi lebih lama dari kebutuhan operasional.
Uji aturan dalam mode pengamatan sebelum menegakkannya. Bandingkan trafik yang akan dibatasi dengan pola pembaca dan crawler yang diketahui. Setelah penerapan, periksa lonjakan 429, laporan akses gagal, serta perubahan trafik crawler. Sediakan cara cepat untuk menyesuaikan ambang atau mengecualikan klien yang terverifikasi tanpa menonaktifkan seluruh perlindungan.
Kesalahan umum yang perlu dihindari
- Menganggap
robots.txtsebagai kontrol keamanan. File ini menyatakan preferensi crawling; klien yang mengabaikannya tetap dapat meminta halaman publik. - Mengandalkan satu sinyal bot. User-agent, IP, atau pola jeda saja mudah keliru jika dijadikan dasar pemblokiran.
- Menerapkan batas IP yang terlalu ketat. Pengguna di jaringan bersama dapat terkena pembatasan kolektif.
- Membatasi hanya di aplikasi. Lonjakan besar tetap dapat menghabiskan kapasitas sebelum mencapai middleware; pertimbangkan perlindungan di edge.
- Tidak mengukur dampak. Tanpa metrik dan mode pengamatan, sulit membedakan mitigasi yang efektif dari aturan yang menghalangi pembaca.
Mulailah dengan batas per IP yang longgar, batas pagination yang jelas, dan metrik dasar. Tambahkan batas per akun serta deteksi pola hanya ketika kebutuhan dan data trafik mendukungnya. Jika tujuan berikutnya adalah membatasi akses ke konten tertentu, gunakan kontrol akses yang sesungguhnya—rate limit tidak mengubah halaman publik menjadi privat.
Komentar
0 komentar
Masuk ke akun kamu untuk ikut berkomentar.
Belum ada komentar
Jadilah yang pertama ikut berdiskusi!