GSC: Panduan Lengkap Mengenai robots.txt: Solusi untuk Situs yang Diblokir

Panduan Lengkap Mengenai robots.txt di Google Search Console 

GSC: Panduan Lengkap Mengenai robots.txt: Solusi untuk Situs yang Diblokir- Robots.txt adalah sebuah file teks yang ditempatkan di akar situs web untuk memberikan instruksi kepada bot perayapan (web crawler) tentang bagaimana mereka harus menjelajahi dan mengindeks halaman-halaman di situs tersebut. Ketika sebuah situs web diblokir oleh file robots.txt, hal ini dapat menyebabkan beberapa masalah terkait indeksasi dan keterlihatan di mesin pencari. Berikut adalah penjelasan detail mengenai masalah dan solusi yang terkait dengan diblokir oleh robots.txt di Google Search Console (GSC):

Masalah:

1. Penurunan trafik organik: Ketika situs web Anda diblokir oleh robots.txt di GSC, mesin pencari tidak dapat mengindeks halaman-halaman tersebut. Akibatnya, situs web Anda mungkin mengalami penurunan drastis dalam lalu lintas organik dari mesin pencari.

2. Tidak muncul dalam hasil pencarian: Jika situs web Anda sepenuhnya diblokir oleh robots.txt di GSC, halaman-halaman situs tersebut tidak akan muncul dalam hasil pencarian mesin pencari. Ini berarti pengguna yang mencari informasi yang terkait dengan situs Anda tidak akan dapat menemukannya melalui mesin pencari.

3. Pengindeksan tidak sempurna: Jika Anda memblokir sebagian halaman situs web Anda melalui robots.txt di GSC, beberapa halaman yang sebenarnya ingin Anda indeks mungkin tidak terlihat di mesin pencari. Ini dapat menyebabkan pengindeksan yang tidak sempurna dan mengurangi visibilitas situs Anda.

Solusi:

1. Periksa file robots.txt: Pertama, Anda perlu memastikan bahwa file robots.txt di situs web Anda dikonfigurasi dengan benar. Pastikan tidak ada aturan yang tidak sengaja memblokir halaman-halaman yang seharusnya dapat diindeks oleh mesin pencari.

2. Gunakan alat pengujian robots.txt: Google Search Console menyediakan alat pengujian robots.txt yang memungkinkan Anda menguji file robots.txt dan melihat bagaimana Googlebot akan menafsirkannya. Anda dapat menggunakan alat ini untuk memastikan bahwa file robots.txt tidak memblokir halaman-halaman yang penting.

3. Hapus pemblokiran yang tidak perlu: Jika Anda menemukan bahwa ada halaman-halaman yang seharusnya diindeks namun diblokir oleh robots.txt, Anda perlu memperbarui file tersebut. Anda dapat menghapus aturan yang tidak perlu atau memperbarui instruksi untuk memungkinkan pengindeksan pada halaman-halaman tersebut.

4. Periksa direktori yang tidak perlu diblokir: Pastikan Anda tidak secara tidak sengaja memblokir direktori yang penting untuk pengindeksan. Misalnya, pastikan direktori yang berisi gambar, CSS, atau JavaScript tidak diblokir, karena mesin pencari membutuhkan akses ke sumber daya tersebut.

5. Verifikasi melalui Google Search Console: Setelah Anda memperbarui file robots.txt, verifikasilah situs web Anda melalui Google Search Console untuk memastikan perubahan yang Anda buat telah diterapkan dan situs Anda tidak lagi diblokir oleh robots

Apakah label yang diblokir robots.txt menjadi masalah?

Jika Anda melihat bahwa ada 19 situs yang diblokir oleh robots.txt, itu menunjukkan bahwa ada label atau direktori di situs web Anda yang dilarang oleh instruksi dalam file robots.txt. Hal ini bisa menjadi masalah jika label-label tersebut seharusnya dapat diindeks oleh mesin pencari atau jika mereka berisi konten yang penting untuk keterlihatan dan penilaian situs Anda oleh mesin pencari. Berikut ini adalah beberapa masalah yang dapat timbul akibat label yang diblokir oleh robots.txt:

1. Penurunan visibilitas: Jika label-label yang penting untuk situs web Anda diblokir, mesin pencari tidak akan dapat mengindeks dan menampilkan halaman-halaman yang terkait dengan label tersebut dalam hasil pencarian. Akibatnya, visibilitas situs web Anda dalam mesin pencari akan menurun.

2. Trafik organik yang berkurang: Jika halaman-halaman dengan label yang diblokir memiliki potensi untuk mendatangkan lalu lintas organik, pemblokiran tersebut dapat menyebabkan penurunan trafik pada situs web Anda. Pengguna yang mencari informasi terkait dengan label yang diblokir mungkin tidak dapat menemukan halaman-halaman tersebut melalui mesin pencari.

3. Potensi kehilangan backlink: Jika halaman-halaman dengan label yang diblokir memiliki backlink dari situs web lain, pemblokiran tersebut dapat menyebabkan kehilangan backlink tersebut. Ini dapat mempengaruhi peringkat situs web Anda dalam hasil pencarian.

Solusinya adalah sebagai berikut:

1. Tinjau kembali file robots.txt: Periksa kembali file robots.txt Anda untuk memastikan bahwa aturan-aturan yang memblokir label-label tersebut tidak diperlukan atau tidak disengaja. Anda dapat memperbarui file tersebut untuk memungkinkan pengindeksan pada halaman-halaman dengan label yang penting.

2. Pertimbangkan kembali pentingnya label tersebut: Evaluasilah apakah label-label tersebut memang harus diblokir atau apakah mereka memiliki konten yang relevan dan penting untuk keterlihatan situs web Anda. Jika label-label tersebut seharusnya diindeks oleh mesin pencari, Anda mungkin perlu memperbarui aturan dalam file robots.txt atau menghapus pemblokiran tersebut.

3. Periksa direktori yang diblokir: Pastikan bahwa direktori-direktori yang terkait dengan label-label tersebut tidak secara tidak sengaja diblokir dalam file robots.txt. Periksa apakah ada aturan yang memblokir akses ke direktori tersebut dan pastikan bahwa instruksi dalam file robots.txt sesuai dengan kebutuhan situs web Anda.

4. Verifikasi perubahan: Setelah Anda melakukan perubahan pada file robots.txt, pastikan untuk memverifikasi bahwa perubahan tersebut telah diterapkan dengan mengakses situs Anda melalui mesin pencari dan memeriksa apakah label-label yang sebelumnya diblokir dapat diakses dan terlihat dalam hasil pencarian.

Konfigurasi robots.txt 

Konfigurasi file robots.txt melibatkan penulisan aturan yang sesuai untuk memberikan instruksi kepada bot perayapan (web crawler) tentang halaman-halaman yang harus atau tidak harus diindeks. Berikut adalah panduan langkah demi langkah untuk mengonfigurasi file robots.txt:

1. Buat file teks: Buatlah file teks kosong dengan nama "robots.txt". Pastikan Anda membuatnya di direktori root situs web Anda. Misalnya, jika alamat situs web Anda adalah "www.contoh.com", letakkan file tersebut di "www.contoh.com/robots.txt".

2. Tentukan User-Agent: Baris pertama dalam file robots.txt akan menentukan User-Agent, yaitu bot perayapan yang akan menerapkan aturan yang ditentukan. Misalnya, untuk menentukan semua bot perayapan, Anda dapat menggunakan "*" sebagai User-Agent. Contoh: "User-Agent: *".

3. Tetapkan instruksi: Setelah menentukan User-Agent, Anda dapat menetapkan instruksi untuk bot perayapan. Beberapa instruksi yang umum digunakan meliputi:

   - "Disallow": Digunakan untuk memblokir akses bot perayapan ke halaman atau direktori tertentu. Misalnya, jika Anda ingin memblokir bot perayapan untuk mengindeks direktori "/admin/", Anda dapat menulis "Disallow: /admin/".

   - "Allow": Digunakan untuk memberikan izin akses bot perayapan ke halaman atau direktori tertentu, meskipun ada instruksi pemblokiran yang lebih umum. Ini digunakan untuk memberikan pengecualian pada instruksi "Disallow". Misalnya, jika Anda telah memblokir akses ke semua direktori dengan "Disallow: /", tetapi ingin mengizinkan akses ke direktori "/public/", Anda dapat menulis "Allow: /public/".

   - "Sitemap": Digunakan untuk menentukan lokasi sitemap XML situs web Anda. Ini membantu bot perayapan dalam mengindeks halaman-halaman situs Anda dengan lebih efisien. Misalnya, jika sitemap Anda berada di "www.contoh.com/sitemap.xml", Anda dapat menulis "Sitemap: https://www.contoh.com/sitemap.xml".

4. Tambahkan baris baru: Setelah menetapkan instruksi, pastikan untuk menambahkan baris baru sebelum menambahkan instruksi berikutnya. Ini akan membantu dalam membaca dan memahami file robots.txt dengan lebih jelas.

5. Tulis instruksi tambahan: Anda dapat menulis instruksi tambahan sesuai dengan kebutuhan situs web Anda. Misalnya, Anda dapat menambahkan instruksi untuk mengarahkan bot perayapan ke file CSS atau JavaScript yang penting untuk pengindeksan.

6. Simpan dan verifikasi: Setelah selesai menulis aturan-aturan dalam file robots.txt, simpan file tersebut. Selanjutnya, Anda dapat memverifikasi file robots.txt Anda menggunakan alat pengujian yang disediakan oleh Google Search Console untuk memastikan bahwa aturan-aturan yang Anda tulis tidak memblokir halaman-halaman yang penting.

Penting untuk diingat bahwa konfigurasi file robots.txt harus dilakukan dengan hati-hati. Kesalahan dalam penulisan atau penggunaan aturan yang tidak tepat dapat mempengaruhi indeksasi.

Konfigurasi robots.txt di Blogger 

Untuk mengonfigurasi file robots.txt agar label tidak diblokir di platform Blogger, berikut adalah langkah-langkah yang perlu Anda ikuti:

1. Masuk ke Blogger: Buka dashboard Blogger dan masuk ke akun Anda.

2. Pilih Blog: Pilih blog yang ingin Anda konfigurasi file robots.txt-nya.

3. Navigasi ke Pengaturan: Di menu sebelah kiri, klik "Pengaturan" dan kemudian pilih "Pengindeksan".

4. Temukan Pengaturan Robots.txt: Gulir ke bawah hingga Anda menemukan opsi "Pengaturan Robots.txt". Klik pada "Edit" di sebelah kanan.

5. Aktifkan Pengaturan Robots.txt Kustom: Pilih opsi "Ya" untuk mengaktifkan pengaturan robots.txt kustom.

6. Tambahkan Aturan: Dalam area teks yang disediakan, Anda dapat menambahkan aturan untuk mengizinkan atau memblokir akses ke label atau direktori tertentu. Misalnya, jika Anda ingin mengizinkan akses ke semua label, Anda dapat menambahkan aturan berikut:

User-agent: *

Disallow: /search

Ini akan mengizinkan semua bot perayapan untuk mengakses label-label di situs Anda, tetapi memblokir akses ke halaman pencarian situs.

7. Simpan Perubahan: Setelah Anda menambahkan aturan yang diinginkan, klik "Simpan perubahan" untuk menyimpan konfigurasi file robots.txt.

8. Verifikasi: Untuk memastikan bahwa perubahan yang Anda buat berfungsi seperti yang diharapkan, Anda dapat melakukan verifikasi menggunakan alat pengujian robots.txt yang disediakan oleh Google Search Console atau dengan mencoba mengakses label-label di situs Anda dan memastikan bahwa mereka dapat diindeks dengan baik.

Penting untuk memahami bahwa Blogger memiliki beberapa pembatasan dalam mengonfigurasi file robots.txt. Anda hanya dapat menambahkan aturan yang valid dan diperbolehkan oleh platform. Pastikan untuk mempelajari dan memahami panduan penggunaan file robots.txt di Blogger sebelum melakukan perubahan yang signifikan.

Berbagi :