Tentang BimaBot
Bima menggunakan crawler otomatis bernama BimaBot untuk menemukan dan mengindeks halaman web secara mandiri.
User-Agent
BimaBot/1.0 (+https://your-domain.example/bot)
Tujuan Crawler
BimaBot mengunjungi halaman publik untuk membangun indeks pencarian Bima. Crawler menghormati robots.txt, Crawl-delay, dan status HTTP seperti 429/503 dari server Anda.
Cara Memblokir BimaBot
Tambahkan baris berikut ke file robots.txt di situs Anda:
User-agent: BimaBot
Disallow: /
Untuk memblokir hanya sebagian halaman:
User-agent: BimaBot
Disallow: /halaman-privat/
Kontak
Jika Anda memiliki pertanyaan tentang crawler ini, silakan hubungi pemilik situs Bima.