Apa Itu Robots.txt?

Manfaat Penggunaan Robots.txt

Sebagian besar situs web tidak membutuhkan file robots.txt. Hal itu karena Google secara otomatis biasanya dapat menemukan dan mengindeks semua halaman penting di situs Anda. Google tidak akan mengindeks halaman yang dirasa tidak penting atau halaman yang menjadi duplikat dari halaman lain.

Meskipun begitu, ada 3 alasan utama mengapa Anda perlu menggunakan file robots.txt.

Baca Juga: Apa Itu Crawling dan Indexing?

1. Memblokir Halaman Non-Publik: Terkadang Anda pasti memiliki halaman di situs yang tidak ingin Anda indeks. Misalnya, Anda memiliki halaman yang masih dalam tahap pengembangan awal, atau untuk halaman login. Halaman ini tetap diperlukan di situs web, tetapi Anda tidak ingin sembarang orang untuk berkunjung kes ana. Ini adalah kasus di mana Anda akan menggunakan robots.txt untuk memblokir laman ini dari crawler dan bot mesin pencarian.

2. Maksimalkan Crawler Budget: Jika Anda mengalami kesulitan untuk mengindeks semua laman situs, mungkin Anda telah mengalami masalah crawler budget. Dengan memblokir halaman yang tidak penting menggunakan robots.txt, Google bot dapat mengalihkan pekerjaannya untuk crawl budget Anda pada halaman yang lebih penting.

3. Mencegah Pengindeksan pada Sumber Daya Lainnya: Menggunakan perintah meta dapat bekerja sebaik Robots.txt untuk mencegah suatu halaman untuk diindeks. Namun, perintah meta tidak dapat berfungsi dengan baik untuk digunakan pada sumber daya multimedia, seperti PDF dan file gambar. Di situlah file robots.txt berperan.

Pada intinya, file robots.txt akan memberi tahu spider mesin pencari untuk tidak crawling pada halaman tertentu di situs web Anda.

Anda dapat memeriksa berapa banyak halaman yang telah Anda indeks menggunakan Google Search Console. Jika angkanya cocok dengan jumlah halaman yang ingin Anda indeks, Anda tidak perlu repot menggunakan file robots.txt. Namun, jika jumlahnya lebih tinggi dari yang Anda harapkan (terutama jika Anda melihat URL tersebut seharusnya tidak boleh diindeks), sekarang saatnya membuat file robots.txt untuk situs Anda.

Cara Membuat File Robots.txt

Jika saat ini Anda tidak memiliki file robots.txt, disarankan untuk membuatnya sesegera mungkin. Untuk melakukannya, Anda perlu melakukan sejumlah hal berikut ini:

• Buat file teks baru dan beri nama "robots.txt" - Gunakan teks editor seperti program Notepad di PC Windows atau TextEdit bagi yang menggunakan Mac IOS, kemudian pilih "Save As" file yang dipisahkan teks dan pastikan ekstensi file tersebut bernama ".txt".

• Unggah ke root directory situs web Anda – Folder tingkat dasar ini biasa disebut sebagai "htdocs" atau "www" yang membuatnya muncul tepat setelah nama domain Anda.

• Buat file robots.txt untuk setiap subdomain – Hal ini dilakukan hanya jika Anda menggunakan jenis subdomain apapun.

• Lakukan Pengujian - Periksa file robots.txt dengan memasukkan kalimat robots.txt ke dalam bilah alamat browser. Contohnya: situswebAnda.com/robots.txt

Tujuan penggunaan Robots.txt bukan untuk menyembunyikan secure page yang ada di situs web Anda. Oleh karena itu, lokasi "admin" atau halaman pribadi yang berada di situs Anda tidak boleh disertakan dalam file robots.txt karena justru akan menampilkan lokasinya kepada pengguna lain. Jika Anda ingin mencegah robot untuk mengakses konten pribadi apapun yang ada di situs web Anda dengan aman, Anda perlu melindungi area penyimpanannya dengan menggunakan kata sandi (password).

File robots.txt dirancang untuk bertindak hanya sebagai panduan bagi robot web dan tidak semuanya akan mematuhi instruksi Anda.

Tanpa file robots.txt, mesin pencari akan bebas dalam melakukan crawling dan mengindeks apapun yang mereka temukan di situs web. Penggunaan robots.txt bagus untuk sebagian besar situs web, tetapi dengan menggunakan file tersebut setidaknya dapat menunjukkan di mana letak XML sitemap Anda sehingga mesin pencarian dapat dengan cepat menemukan konten terbaru di situs web Anda, serta mengoptimalkan crawling budget.