Epic99.com – Cara mudah setting robots txt pada WordPress. Mendapatkan peringkat teratas di Google tentu akan menjadi impian bagi semua pemilik website. Karena dengan begitu situs kamu akan mendapatkan lebih banyak pengunjung.
Namun bukanlah hal mudah jika kamu menginginkan hal tersebut. Terlebih dalam dunia digital terutama website, kamu akan mendapatkan banyak pesaing yang juga menginginkan hal yang sama. Nantinya Google akan bekerja dengan cara mengindeks setiap halaman yang ada pada website. Selain itu Google juga akan memeriksa mengenai kualitas artikel yang kamu buat.
Dalam artikel kali ini akan di bahas mengenai Robots.txt yang tidak lain adalah robot pengindeksan dari Google. Di mana Robot.txt akan melakukan crawl pada setiap halaman website yang kamu buat. Hanya saja Robot tersebut tidak bisa membedakan halaman mana yang perlu atau tidak untuk di lakukan crawl.
Untuk itu kamu bisa melakukan setting dengan cara di bawah ini.
Dimana letak robot.txt ?
Sebelum kamu melakukan setting pada robot.txt, pastikan kamu mengetahui terlebih dahulu mengenai letak robot tersebut. Untuk kamu ketahui, robot.txt terletak pada server hosting yang kamu gunakan. Berikut ini beberapa langkah mengetahui letak robot.txt pada cPanel.
- Langkah pertama kamu bisa masuk pada akun cPanel hosting website.
- Saat masuk pada halaman dashboard, selanjutnya kamu bisa pilih menu Files
- Kemudian klik File Manager
- Scroll kebawah hingga kamu menemukan folder publik_html.
- Lalu pilih folder tempat install website.
Untuk kamu ketahui, file robot.txt bersifat file virtual di mana kamu tidak akan menemukannya dalam file direktori. Kamu bisa membuat file baru dengan format robot.txt. Selanjutnya kamu bisa melakukan upload dan secara otomatis robot.txt akan di replace sehingga berfungsi sebagai konfigurasi file txt.
Manfaat menggunakan robot.txt
Kamu akan bisa merasakan manfaat saat menggunakan robot.txt seperti hal berikut :
- Data penting tidak mudah tersebar saat robot melakukan perayapan.
- Menggunakan robot.txt memungkinkan website akan di indeks secara otomatis.
- Halaman yang terindeks pada mesin pencarian Google merupakan halaman yang memang terpilih.
Cara setting robot.txt menggunakan cPanel
Untuk melakukan setting robot.txt pada WordPress sebenarnya sangat mudah. Nantinya kamu hanya perlu menuliskan perintah melalui cPanel. Namun sebelum itu pastikan kamu mengetahui perintah robot.txt terlebih dahulu.
Berikut ini beberapa perintah robot.txt untuk kamu ketahui :
- User-agent, berfungsi untuk mendeskripsikan jenis robot yang melakukan perayapan.
- Allow, berfungsi untuk menandakan bagian yang bisa di akses oleh robot.
- Disallow, berfungsi untuk menandakan bagian yang tidak bisa di akses robot.
Perintah yang bisa kamu tulis untuk melakukan setting robot.txt :
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
User-agent: Bingbot
Disallow: /
Kamu bisa juga menuliskan perintah seperti di bawah ini untuk mengizinkan situs pencari untuk merayapi website yang kamu miliki dengan menambahkan perintah di bawah ini setelah menuliskan perintah sebelumnya.
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: https://namamain.com/sitemap.xml
Jika kamu tidak ingin melakukan setting robot menggunakan cPanel, maka kamu bisa menggunakan alternatif lainnya dengan menggunakan plugin seperti Yoast SEO, All in One SEO Pack, dan masih banyak lagi yang lainnya.
Selain itu melakukan setting robot menggunakan plugin juga terbilang lebih mudah jika di bandingkan dengan menggunakan cPanel.
Kesimpulan
Nah itulah beberapa cara yang bisa kamu lakukan untuk melakukan setting pada robots txt. Di mana nantinya robot.txt sendiri akan memberikan petunjuk mengenai halaman yang boleh dan tidak boleh untuk dirayapi oleh robot crawl Google.
Selain itu dengan menggunakan robots.txt, nantinya kamu bisa lebih mudah mendapatkan peringkat teratas dalam mesin pencari Google.***
