Cara Membuat Robots.txt di WordPress: 6 Langkah Biar Google Merayapi dengan Benar

Bayangkan Google datang berkunjung ke website bisnis Anda, tetapi semua pintu tertutup rapat. Ia tidak bisa melihat produk Anda, dan akhirnya pergi tanpa hasil. Itulah gambaran dari apa yang terjadi ketika robots.txt di website Anda keliru. Sebaliknya, robots.txt yang benar ibarat resepsionis yang ramah: ia menyambut robot Google, menunjukkan ruangan mana yang boleh dimasuki, dan menutup pintu ruangan yang tidak perlu dikunjungi.

Kabar baiknya, Anda tidak perlu menjadi programmer: di WordPress, semuanya bisa dilakukan lewat plugin SEO dalam hitungan menit.

1. Memahami Dulu: Apa Itu Robots.txt dan Fungsinya untuk SEO

Robots.txt adalah berkas teks sederhana di folder utama website, tepatnya di alamat seperti namadomain.com/robots.txt. Isinya berupa instruksi singkat untuk robot mesin pencari, misalnya Googlebot, tentang bagian situs mana yang boleh dijelajahi dan mana yang sebaiknya dilewati.

Fungsi robots.txt untuk SEO ada tiga. Pertama, ia menghemat crawl budget, yaitu waktu terbatas Google untuk menjelajahi situs Anda, sehingga jatah itu dipakai halaman produk, jasa, dan artikel, bukan halaman login atau keranjang belanja. Kedua, ia menjaga halaman administratif dan duplikat supaya tidak ikut dirayapi. Ketiga, ia bisa memberi tahu lokasi sitemap Anda, sehingga Google lebih cepat menemukan halaman baru.

Namun, ada kesalahpahaman yang harus diluruskan sejak awal: memblokir halaman lewat robots.txt bukan berarti halaman itu hilang dari Google. Robot hanya dilarang mengunjungi halaman tersebut, tetapi alamatnya masih bisa muncul di hasil pencarian, biasanya tanpa deskripsi, jika ada situs lain yang menautkannya. Jadi, kalau tujuan Anda benar-benar menghapus halaman dari hasil pencarian, gunakan tag noindex atau lindungi halaman itu dengan kata sandi, bukan sekadar Disallow.

2. Cara Cek Robots.txt Website yang Sudah Ada

Sebelum membuat yang baru, periksa dulu apakah website Anda sudah memiliki robots.txt. Buka browser, lalu ketik alamat domain Anda diikuti /robots.txt, contohnya namadomain.com/robots.txt. Jika muncul halaman berisi baris-baris aturan, berarti berkasnya sudah ada. Jika yang muncul adalah error 404, berarti belum ada berkasnya, dan Google akan menganggap seluruh situs boleh dirayapi.

Cara kedua adalah lewat Google Search Console. Masuk ke properti website Anda, buka menu Settings, lalu lihat bagian Crawl dan laporan robots.txt. Di sana Anda bisa melihat versi robots.txt yang terakhir diambil Google, lengkap dengan tanggal pengambilannya. Ini penting karena bisa saja berkas di server sudah Anda ubah, tetapi Google masih memegang versi lama.

Baca isi berkas lama itu baris demi baris, dan perhatikan apakah ada baris yang melarang seluruh situs atau menutup folder penting. Banyak masalah SEO ternyata berasal dari satu baris tertinggal, misalnya sisa pengaturan masa pengembangan website.

3. Membuat dan Mengedit Robots.txt via Yoast SEO atau Plugin

Cara paling ramah pemula di WordPress adalah memakai plugin SEO seperti Yoast SEO. Setelah plugin aktif, masuk ke dasbor WordPress, arahkan kursor ke menu SEO di bilah samping, lalu pilih Tools dan klik File editor. Jika belum ada berkas fisik, Yoast menampilkan tombol Create robots.txt file; klik tombol itu dan Yoast akan membuatkan berkas dasar yang sudah cukup aman untuk kebanyakan situs. Setelah editor terbuka, tulis atau ubah aturan di kotak teks yang tersedia, lalu tekan Save changes to robots.txt. Keunggulan cara ini, Anda tidak perlu membuka File Manager hosting atau aplikasi FTP. Plugin Rank Math menyediakan menu serupa di bawah pengaturan umum.

Jika Anda tidak memakai plugin SEO, buat berkas bernama persis robots.txt di komputer dengan aplikasi teks biasa, lalu unggah ke folder utama website lewat File Manager di panel hosting. Pastikan namanya huruf kecil semua dan berekstensi .txt, bukan .html. Berkas yang tersimpan di subfolder tidak akan dibaca robot.

4. Aturan Dasar Allow dan Disallow yang Aman untuk Dipakai

Bahasa robots.txt hanya terdiri dari beberapa perintah. User-agent menunjukkan robot mana yang dituju, tanda bintang berarti semua robot. Disallow berarti larang merayapi jalur tertentu, sedangkan Allow berarti izinkan, biasanya untuk membuka pengecualian di dalam area yang diblokir. Aturan dibaca dari yang paling spesifik, jadi aturan yang lebih rinci mengalahkan aturan umum.

Contoh aturan dasar yang aman untuk situs WordPress adalah sebagai berikut:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://namadomain.com/sitemap_index.xml

Artinya, semua robot dilarang memasuki dasbor admin, tetapi tetap diizinkan mengakses admin-ajax.php karena berkas itu dibutuhkan agar sebagian fitur situs tampil dengan benar. Baris Sitemap memberi tahu Google di mana peta situs Anda berada. Anda boleh menambahkan Disallow untuk jalur yang memang tidak memberi nilai di hasil pencarian, misalnya /cart/ pada toko online atau /?s= untuk halaman hasil pencarian internal.

Prinsipnya sederhana: blokir seminimal mungkin. Setiap baris Disallow harus punya alasan yang jelas. Jika Anda ragu apakah suatu halaman perlu diblokir, lebih aman membiarkannya terbuka, karena memblokir terlalu banyak justru berisiko menutup halaman penting tanpa Anda sadari.

5. Kesalahan Fatal yang Wajib Dihindari

Kesalahan paling fatal adalah satu baris pendek ini:

User-agent: *
Disallow: /

Garis miring tunggal setelah Disallow berarti seluruh situs. Satu baris ini cukup untuk membuat Google berhenti merayapi semua halaman Anda, dan dampaknya bisa berupa penurunan trafik yang drastis dalam hitungan minggu. Penyebabnya sering kali sepele: pengaturan situs staging yang ikut terbawa saat website diluncurkan, atau kotak “Discourage search engines from indexing this site” di menu Settings dan Reading yang lupa dimatikan.

Kesalahan kedua adalah memakai Disallow untuk menghapus halaman dari Google, padahal halaman yang diblokir masih bisa terindeks tanpa deskripsi. Kesalahan ketiga adalah memblokir berkas CSS dan JavaScript, yang dibutuhkan Google untuk menampilkan halaman sebagaimana dilihat pengunjung. Kesalahan keempat adalah menulis perintah yang tidak lagi didukung, seperti noindex atau crawl-delay; Google sudah berhenti memprosesnya sejak 2019. Terakhir, ingat bahwa Disallow bekerja berdasarkan awalan jalur: Disallow: /promo ikut memblokir /promo-ramadan dan /promosi.

6. Cara Menguji Robots.txt dan Submit ke Search Console

Setelah menyimpan perubahan, uji dulu hasilnya. Buka kembali alamat namadomain.com/robots.txt di browser dan pastikan isinya sesuai dengan yang baru Anda simpan. Kemudian, buka Google Search Console, masuk ke laporan robots.txt, dan gunakan fitur pengujian untuk memeriksa alamat-alamat penting, misalnya halaman produk terlaris dan beranda.

Jika Anda baru saja memperbaiki pemblokiran seluruh situs, gunakan tombol Request a recrawl di Search Console agar Google mengambil versi terbaru lebih cepat. Pemulihan tidak terjadi seketika; Google membutuhkan waktu beberapa hari hingga beberapa minggu untuk merayapi ulang. Pantau laporan Page indexing selama periode itu, dan waspadai status “Indexed, though blocked by robots.txt” sebagai tanda masih ada halaman penting yang tertutup aturan lama.

Sebagai kebiasaan baik, periksa robots.txt setiap kali mengubah tema, memasang plugin baru, atau memindahkan website. Pemeriksaan dua menit ini bisa menyelamatkan trafik pencarian Anda dari masalah yang mudah dicegah.

Contoh Konkret untuk Website UMKM

Misalkan Anda pemilik toko perlengkapan hidrolik di Jakarta dengan situs WordPress berisi katalog produk, halaman jasa servis, dan blog tips perawatan. Aturan yang masuk akal: biarkan Google merayapi semua halaman katalog, jasa, dan artikel, sambil menutup /wp-admin/, halaman keranjang, dan halaman hasil pencarian internal. Tambahkan baris Sitemap Yoast Anda, lalu uji halaman produk unggulan di Search Console. Dengan susunan ini, jatah perayapan Google terfokus pada halaman yang mendatangkan pelanggan.

Kesimpulan

Robots.txt adalah berkas kecil dengan peran besar: ia mengatur pintu masuk robot Google ke website Anda. Enam langkah di atas, mulai dari memahami fungsinya, mengecek berkas lama, membuatnya lewat Yoast SEO, menulis aturan yang aman, menghindari kesalahan fatal, hingga mengujinya di Search Console, sudah cukup untuk membuat website WordPress Anda dirayapi dengan benar. Ingat prinsip utamanya: blokir seminimal mungkin, uji setiap perubahan, dan periksa ulang berkas ini secara berkala. Jika dilakukan dengan disiplin, Google akan lebih mudah menemukan halaman terbaik Anda, dan pelanggan pun lebih mudah menemukan bisnis Anda.