Ko'pgina tajribali bloggerlar, albatta, robots.txt nima ekanligini va nima uchun sizga bu fayl kerakligini bilishadi. Ammo ozgina mualliflar WordPress-da blog o'rnatgandan so'ng darhol robots.txt faylini yaratishga shoshilishadi.
Robots.txt - bu saytingizning ildiz katalogiga yuklangan va brauzerlar uchun ko'rsatmalarni o'z ichiga olgan matnli fayl. Uni ishlatishdan asosiy maqsad saytdagi alohida sahifalar va bo'limlarni indekslashni taqiqlashdir. Shu bilan birga, robots.txt-dan foydalanib, siz to'g'ri domen oynasini belgilashingiz, sayt xaritasiga yo'lni belgilashingiz va hk.
Aksariyat zamonaviy qidiruv tizimlari mashhur CMS-da yaxshi harakat qilishni o'rgandilar va odatda buning uchun mo'ljallanmagan tarkibni indekslashga harakat qilmaydilar. Masalan, robots.txt-da to'g'ridan-to'g'ri ko'rsatmasangiz ham, Google sizning WordPress blogingiz administratori maydonini indekslamaydi. Biroq, ayrim hollarda, to'g'ridan-to'g'ri taqiqlardan foydalanish hali ham foydali bo'lishi mumkin. Va biz birinchi navbatda takroriy tarkibni taqiqlash haqida gapiramiz.
Ba'zi veb-ustalar toifadagi va yorliqli sahifalarni indekslashni taqiqlashgacha borishadi, chunki ularning tarkibi asosiy sahifaning tarkibini qisman takrorlaydi. Ammo ko'pchilik maqolalar tarkibini to'liq takrorlaydigan va umuman qidiruv tizimlari uchun mo'ljallanmagan trackback va feed sahifalarini taqiqlash bilan cheklangan. Bunday ehtiyot chorasi nafaqat sayt natijalarini "toza" qiladi, balki sizni, ayniqsa, yangi Google Panda algoritmi kiritilgandan so'ng, sizni qidiruv filtrlaridan xalos qiladi.
Robots.txt fayli uchun tavsiya etilgan ko'rsatmalar (deyarli har qanday WordPress blogida ishlaydi):
Foydalanuvchi-agent: * Ruxsat bermaslik: /wp-login.php Ruxsat bermaslik: /wp-register.php Ruxsat bermaslik: /xmlrpc.php Ruxsat bermaslik: / wp-admin Ruxsat bermaslik: / wp-include Ruxsat berish: / wp-content / plaginlar Ro'yxatdan o'tish: / wp-content / cache Disallow: / wp-content / themes Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Iltimos, robots.txt-da wp-admin va wp-include ma'muriy papkalari indekslash uchun to'liq yopilganligini unutmang. Wp-content papkasi qisman yopilgan, chunki unda yuklash katalogi mavjud, unda sizning blogingizdagi barcha indekslangan rasmlar mavjud.
Sizga kerak bo'lgan narsa - yuqoridagi koddan direktivalarni nusxalash (har bir ko'rsatma yangi satrda yozilishi kerakligiga e'tibor bering), ularni robots.txt deb nomlangan matnli faylga saqlash va saytingizning ildiz katalogiga yuklash.
Siz robotlar.txtning to'g'ri ishlashini har doim Google Webmaster Tools va Yandex Webmaster interfeyslari orqali tekshirishingiz mumkin.
