public/robots.txt
Panduan untuk web crawlers (misalnya, Googlebot, Bingbot)
User-agent: *

Baris di atas berarti aturan berikut berlaku untuk semua crawler.
Anda bisa menentukan aturan spesifik untuk crawler tertentu, contoh:
User-agent: Googlebot
Disallow: /private-google/
Direktori yang sebaiknya tidak di-crawl:
Disallow: /admin/          # Seluruh direktori admin panel
Disallow: /includes/       # Direktori includes (jika bisa diakses publik, idealnya tidak)
Disallow: /vendor/         # Direktori vendor Composer (jika bisa diakses publik)
Disallow: /config.php      # File konfigurasi (jika ada di web root dan bisa diakses)
Disallow: /db_connect.php  # File koneksi database (jika ada di web root dan bisa diakses)

File atau direktori spesifik lain yang tidak ingin diindeks:
Disallow: /private-page.php
Disallow: /temp-files/
Izinkan akses ke semua konten lain (ini adalah default jika tidak ada Disallow):
Allow: /

Lokasi Sitemap (penting untuk memberitahu crawler di mana sitemap Anda berada)
Pastikan URL ini adalah URL absolut dan benar ke file sitemap.xml.php atau sitemap.xml Anda.
Ganti 'https://www.ugkmb.ac.id' dengan domain Anda yang sebenarnya.
Sitemap: https://www.ugkmb.ac.id/sitemap.xml

Jika Anda menggunakan sitemap.xml.php secara langsung tanpa rewrite:
Sitemap: https://www.ugkmb.ac.id/sitemap.xml.php