Kredit Foto: Unsplash/Carlos Muza
Apa itu file robots.txt? Robots.txt adalah file teks yang dibuat seorang webmaster untuk menginstruksikan robot web (biasanya robot mesin telusur) untuk melakukan crawl pada laman di situs web mereka.
File robots.txt adalah bagian dari standar pengecualian robot (REP), yaitu sekelompok protocol web yang mengatur bagaimana robot tersebut dalam melakukan crawl pada situs web, mengakses dan mengindeks konten, dan menyajikan konten tersebut kepada pengguna. REP juga menyertakan arahan seperti meta robot, serta instruksi halaman-, subdirektori-, atau seluruh situs tentang bagaimana mesin telusur harus memperlakukan link (seperti "follow" atau "nofollow").
Baca Juga: Catat! Penguasaan Ilmu Digital Marketing Kian Penting saat Pandemi
Dalam praktiknya, file robots.txt menunjukkan apakah pengguna tertentu (software crawling web) dapat atau tidak dapat melakukan crawling pada bagian situs web tertentu. Petunjuk crawling ini ditentukan dengan "melarang" atau "mengizinkan" perilaku pengguna tertentu.
Mesin pencari memiliki dua tugas utama:
- Melakukan crawling web untuk menemukan konten;
- Mengindeks konten tersebut agar dapat disajikan kepada pencari yang sedang mencari suatu informasi.
Untuk melakukan crawl pada situs, mesin pencari mengikuti sebuah link untuk berpindah dari satu situs ke situs lain yang pada akhirnya dapat merayapi miliaran link dan situs web. Perilaku crawling ini dikenal sebagai "spidering".
Sebelum menjelajahi situs web, crawler pencarian akan mencari file robots.txt. Jika menemukannya, crawler akan membaca file tersebut terlebih dahulu sebelum melanjutkan ke halaman situs. Karena file robots.txt berisi informasi tentang bagaimana mesin pencari harus crawling, informasi yang ditemukan di sana akan menginstruksikan tindakan crawler lebih lanjut di situs ini. Jika file robots.txt tidak berisi arahan yang melarang aktivitas agen pengguna (atau jika situs tidak memiliki file robots.txt), bot akan melanjutkan untuk crawling informasi di situs lain.
Apa itu pengoptimalan URL dalam SEO? URL adalah teknik/proses dalam mengoptimalkan struktur URL dari halaman situs web/blog untuk membuat halaman web yang lebih dapat dipahami oleh crawler mesin pencari dan oleh pengguna internet.
URL optimization salah satu langkah utama dalam proses optimasi mesin pencari situs web karena dapat membantu crawler mesin pencari untuk memahami topik halaman sehingga dapat meningkatkan kemungkinan halaman dengan URL yang dioptimalkan untuk ditemukan pada pencarian yang relevan di mesin pencari.
Apa itu pengoptimalan XML sitemap? XML sitemap (Extensible Markup Language) adalah file teks yang digunakan untuk merinci semua URL yang ada di situs web. Ini dapat mencakup segala informasi tambahan (metadata) di setiap URL dengan detail mengenai kapan terakhir kali situs tersebut diperbarui, seberapa penting mereka, dan apakah ada versi lain dari URL yang dibuat dalam bahasa lain. Semua ini dilakukan untuk membantu mesin telusur dalam melakukan crawling pada situs web Anda dengan lebih efisien, memungkinkan perubahan apapun yang diberikan kepada mereka secara langsung, termasuk saat halaman baru ditambahkan atau halaman lama telah dihapus.
Tidak ada jaminan bahwa XML sitemap akan membuat halaman Anda di-crawling dan diindeks oleh mesin telusur. Namun, dengan memiliki XML sitemap tentu saja akan meningkatkan peluang strategi SEO Anda, terutama jika navigasi atau strategi link interna tidak terhubung ke semua laman situs Anda.
Schema markup adalah cara yang bagus untuk membantu situs web Anda lebih mencolok dari pesaing bisnis Anda. Inilah mengapa Anda membutuhkan skema dan menambahkannya ke halaman situs web Anda.
Schema Markup berbentuk mikrodata. Setelah ditambahkan ke halaman web, schema markup akan membuat deskripsi yang telah disempurnakan (umumnya dikenal sebagai rich snippet) yang akan muncul di hasil penelusuran. Mesin pencari teratas-termasuk Google, Yahoo, Bing, dan Yandex- pertama kali mulai berkolaborasi untuk membuat Schema.org pada tahun 2011 dengan tujuan menciptakan, memelihara, dan mengenalkan skema untuk data terstruktur di internet.
Schema Markup sangat penting di era algoritma Hummingbird dan RankBrain. Mesin pencari dapat menafsirkan konteks dari kueri pengguna dan dapat menentukan kualitas dari hasil pencarian tersebut. Skema dapat memberikan konteks ke halaman web yang dirasa ambigu. Tidak ada bukti bahwa mikrodata memiliki efek langsung pada peringkat penelusuran organik.
Meskipun demikian, rich snippet akan membuat laman situs web Anda dapat tampil lebih mencolok di SERP. Visibilitas yang ditingkatkan ini telah terbukti untuk meningkatkan rasio klik-tayang.
Mau Berita Terbaru Lainnya dari Warta Ekonomi? Yuk Follow Kami di Google News dengan Klik Simbol Bintang.
Penulis: Patrick Trusto Jati Wibowo
Editor: Puri Mei Setyaningrum
