Cara Setting Robots.txt dan Tag Tajuk Robot Khusus yang SEO Blogger

Setting Robots txt dan Tag Tajuk Robot Khusus
SEO
4

Setting Robots.txt dan Tag Tajuk Robot Khusus

Sebagai seorang blogger tentunya kita sudah sering mendengar bahkan tidaklah asing bagi Anda tentang cara setting robot.txt ini. Ya benar robot.txt ini sangat penting dalam sebuah halaman situs atau website karena yang bertugas merayapi dan juga memfilter setiap konten yang ada ada blog atau web kita di mesin pencari.  Pemilik situs web menggunakan file robots.txt untuk memberi petunjuk tentang situs mereka ke robot web, ini disebut The Robots Exclusion Protocol. Web Robots (juga dikenal sebagai Web Wanderers, Crawler, atau Spiders), adalah program yang melintasi Web secara otomatis. Mesin pencari seperti Google menggunakannya untuk mengindeks konten web dan masih banyak lagi fungsinya.

Setting Robots txt dan Tag Tajuk Robot Khusus


Dengan adanya Robots.txt dan Tag Tajuk khusus inilah yang nantinya akan mempermudah mesin pencari dalam hal merayapi konten web, akses, dan indeks, dan menyajikan konten tersebut kepada pengguna juga mencakup arahan seperti robot meta, serta petunjuk halaman, subdirektori, atau keseluruhan situs untuk bagaimana mesin pencari harus memperlakukan tautan yang dimiliki (seperti “follow” atau “nofollow”). Maka perlu di ingat bahwa setingan ini sangat penting karena dampaknya akan terasa jika kita salah untuk menyetingnya. Jika salah sedikit saja maka bukan tidak mungkin kinten Anda akan di acuhkan oleh mesin pencari.



Namun demikian tahukah Anda jika dari beberapa artikel yang saya baca ternyata, penggunanan yang menerapkan robot.txt ini berpendapat bahwa sangat berguna untuk mendongkrak SEO blog kita. Ya benar jika kita bisa memaksimalkannya dengan setingan yang sesuai maka ini akan berpengaruh pada SEO friendly blog kita juga. Dengan memperhatikan cara kerja robot.txt ini maka kita bisa menentukan mana saja yang boleh di indeks oleh mesin pencari dan mana yang tidak kita perbolehkan. Misalkan saja Anda memiliki sebuah konten yang tidak ingin di tampilkan ke publik dan mesin pencari maka robot.txt ini akan sangat berguna untuk memblokir halaman yang di tentukan. Dalam hal ini juka Anda menggunakan blogger maka sudah di sediakan fitur ini yang akan memudahkan kita dalam memaksimalkan dan optimasi SEO blog kita.

Artikel terkait: 9 Situs Penyedia Broken Link Checker Tool Gratis

Nah bagaimana Cara Setting Robots.txt dan Tag Tajuk Robot Khusus tersebut supaya aman sebagai berikut:

Biasanya Format Dasarnya adalah:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]

1). Gunakan Robots.txt bawaan atau default-nya

Jika berbicara mana yang paling aman maka setingan bawaan dari google lah yang paling terjamin keamanannya. Namun demikian bukan berarti tidak maksimal dan efektif dalam memfilter dan merayapi konten Anda. Dalam penerapannya pun tidak perlu di ambil pusing karena memang dari sejak pertama kali Anda membuat blog sudah aktif secara otomatis di blog Anda.

Berikut Robot.txt standar dan default-nya

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://blog-anda.blogspot.com/sitemap.xml

Keterangan:

User-agent:

Berfungsi sebagai Mediapartners-Google yaitu seperti AdSense

Disallow:

Pada kode ini berfungsi sebagai penunjuk bahwa bot crawl di perintahkan untuk merayapi semua tampilan adsense yang Anda miliki, Dengan menggunakan kode ini memiliki kegunaan yaitu untuk merayapi semua halman blog anda dengan syarat ketentuan adsense. Anda juga bisa mengkosongkan kode ini.

User-agent : *

Kode tersebut berfungsi untuk perintah bot-crawl untuk merayapi seluruh halaman situs yang Anda miliki namun dengan syarat baris tersebut harus terpisah dari kode, yang dimaksudkan itu kode yang diterapkan setelah kode user-agent.

Disallow: /search

Pada kode ini berfungsi untuk penunjuk bahwa setiap halman pencarian dalam bentuk URL tidak akan dijelajahi dan tidak diindex oleh bot-crawl. Jika menggunakan kode ini akan memaksmalkan dan meningkatkan SEO Anda karena memang kode tersebut berguna untuk menghindari jika adanya duplikat kontent yang sering di jumpai blogger.Sitemap: Pada kode ini bertujuan untuk menampilkan sebuah link daftar isi blog anda. Ini akan mempermudah dala perayapan mesin pencari untuk konten Anda.

2). Custom Robot.txt

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /p/about.html
Disallow: /p/contact.html
Allow: /
Sitemap: http://blog-anda.blogspot.com/sitemap.xml

Jika Anda menggunakan kode di atas maka akan berfungsi utnuk membatasi dalam hal perayapan halaman tertentu misal Anda tidak ingin menampilkan halaman kontak dan tentang pada halaman statis maka dengan menggunakannya halaman tertentu tersebut tidak akan di rayapi oleh mesin pencari.

Bagaimana Cara Mengaktifkan Dan Setting Robot.txt:

1.  Log in ke blogger dengan akun blogger anda.
2.  Klik setelan -> Preferensi penelusuran / Search preferences.
3.  Pada tab perayap dan pengindeksan pilih robot.txt.
4.  Dan masukkan perintah seperti yang di jelaskan di atas.

Setting Robots.txt yang SEO Blogger

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.gomarketingstrategic.com/sitemap.xml

5. Simpan.

Bagaimana Cara setting Robot Header Tags (Tag Tajuk Robot Khusus)

1. Masih di menu setelan ->Search preferences / Preferensi penelusuran
2. Dibagian paling bawah ada menu Custom robots header tags. Klik edit.
3. Pilih Yes/Ya
4. Akan muncul kotak settingan, samakan setingan seperti gambar dibawah ini:

 

Setting Tag Tajuk Robot Khusus yang SEO Blogger

5. Lalu Tinggal Simpan Perubahan.

Tujuan dan fungsi diatas adalah membolehkan perayapan mesin pencari utnuk merayapi semua isi blog secara default untuk pos dan laman akan tetapi tidak membolehkan mesin pencari untuk merayapi laman arsip dan penelusuran atau fungsi pencarian dalam blog.

Sebagai catatan saya untuk menerapkan fungsi ini saya harap untuk di pertimbangkan terlebih dahulu dengan berhati-hati karena memang sangat sensitif jika terjadi kesalahan bahkan jika salah maka bisa jadi akan berakibat diabaikan oleh mesin pencari. Bahkan di situ sudah jelas ada peringatan yaitu: (Peringatan! Gunakan dengan hati-hati. Penggunaan yang tidak tepat dari fitur tersebut dapat mengakibatkan blog Anda diabaikan oleh mesin telusur.).



Bagaiman sobat blogger menarik bukan pembahasanya. Sebagai penutup saya akan berpesan bahwa saya telah menerapkan beberapa setingan pada Robots.txt dan Tag Tajuk Robot Khusus ini dan ternyata tidak ada yang lebih baik dari bawaan atau default-nya. Pernah saya mengganti-ganti setingan tersebut untuk mencoba dan ternyata malah blog saya menjadi de-index sampai pengunjung turun hingga 50% jadi pesan saya sedrehana hati-hati dalam menerapkannya. Robot.txt ini sangat berguna untuk mendongkrak SEO blog kita jika dimanfaatkan dengan sebaik mungkin. Itu artinya akan bagus juga untuk meningkatkan traffik dan pengunjung blog kita dan sebaliknya.

Cukup sekian pembahasan kali ini tentang Robots.txt dan Tag Tajuk Robot Khusus yang SEO Blogger. Semoga artikel yang sedikit ini memberikan informasi yang bermanfaat untuk Anda. Jika ada kekurangan saya mohon maaf jika berkenan mau menambahi atau ingin berbagi dengan pengunjung yang lain silahkan berkomentar di bawah ini Terimakasih salam sukses untuk kita semua.

4 Komentar

Tinggalkan Balasan

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Jasa Penulis Artikel SEO Human Friendly Murah Terpercaya
SEO
Jasa Penulis Artikel SEO Human Friendly Murah Terpercaya

Jasa Penulis Artikel SEO Friendly Murah Berkualitas Terpercaya Daftar isi Jasa Penulis Artikel SEO Friendly Murah Berkualitas TerpercayaFasilitas Apa yang Anda dapatkan dari jasa artikel saya?Kenapa harus menggunakan Jasa artikel SEO dari saya?Berapa harga paket atau satuan artikel disini?Harga Artikel Satuan jasa penulis artikel seoHarga Artikel Paket diskon jasa penulis …

Strategi Memenangkan Kontes SEO Dengan Mudah Dan Aman
SEO
9 Strategi Memenangkan Kontes SEO Dengan Mudah Dan Aman

Ketahui, Cara Aman dan Gampang Memenangkan Kontes SEO Daftar isi Ketahui, Cara Aman dan Gampang Memenangkan Kontes SEOMengapa Anda Harus Ikut Kontes SEO?Kemampuan diriBelajar banyak teknikMencari hadiahBagaimana Strategi Memenangkan Kontes SEO?Pemilihan level kontes SEOWaktu pengerjaanOptimasi SEO blogMenyesuaikan tema blog dengan kontes SEOSubmit artikel ke Google Webmaster via Fetch as GoogleSebaiknya tidak menyebar …

Macam-macam Kontes SEO yang Sering Diadakan di Indonesia
SEO
Macam-macam Kontes SEO yang Sering Diadakan di Indonesia

Kontes SEO yang Sering Diadakan di Indonesia Daftar isi Kontes SEO yang Sering Diadakan di IndonesiaMengenal Macam-macam Kontes SEOKontes SEO Menengah ke BawahKontes SEO Menengah ke AtasKontes SEO untuk Unjuk KeterampilanKontes SEO untuk PromosiManfaat Mengikuti Kontes SEO Kontes SEO adalah ajang perlombaan optimasi dengan blog atau website masing-masing peserta. Dalam …