Kebijakan Crawling

Bima berkomitmen melakukan crawling secara etis dan bertanggung jawab.

Yang Bima Lakukan

• Menghormati aturan robots.txt, termasuk Disallow, Allow, dan Crawl-delay
• Membatasi kecepatan request per domain (default 2 detik antar request)
• Menghormati kode status HTTP 429/503 dan header Retry-After
• Membatasi ukuran halaman yang diunduh dan jumlah redirect yang diikuti
• Memblokir akses ke alamat IP privat/internal (proteksi SSRF)

Yang Bima TIDAK Lakukan

• Tidak melakukan crawling berlebihan (denial-of-service)
• Tidak meng-crawl area login/private atau bypass autentikasi
• Tidak menyimpan seluruh HTML halaman — hanya metadata dan cuplikan teks terbatas untuk keperluan pencarian
• Tidak mengunduh file berukuran sangat besar

User-Agent

Cara memblokir BimaBot