Qidiruv tizimlar tomonidan saytlarni indekslashni boshqarish vositalaridan biri bu robots.txt fayli. Bu asosan barcha yoki faqat ayrim robotlarning ma'lum sahifa guruhlari tarkibini yuklab olishiga yo'l qo'ymaslik uchun ishlatiladi. Bu sizga qidiruv tizimidagi "axlat" lardan xalos bo'lishga va ba'zi hollarda resurslar reytingini sezilarli darajada yaxshilashga imkon beradi. Muvaffaqiyatli dastur uchun to'g'ri robots.txt fayli bo'lishi muhimdir.
Kerakli
matn muharriri
Ko'rsatmalar
1-qadam
Maxsus istisno qoidalari o'rnatiladigan robotlar ro'yxatini tuzing yoki kengaytirilgan robots.txt standartining direktivalari, shuningdek nostandart va o'ziga xos ko'rsatmalar (ma'lum qidiruv tizimining kengaytmalari) ishlatiladi. Ushbu ro'yxatga tanlangan robotlar tomonidan sayt serveriga yuborilgan HTTP so'rov sarlavhalarining User-Agent maydonlarining qiymatlarini kiriting. Robotlar nomlari qidiruv tizimlari saytlarining ma'lumot bo'limlarida ham mavjud.
2-qadam
Birinchi bosqichda tuzilgan ro'yxatdagi har bir robotga kirish taqiqlanishi kerak bo'lgan sayt resurslarining URL manzillari guruhlarini tanlang. Boshqa barcha robotlar uchun xuddi shunday operatsiyani bajaring (indeksatsiya qiluvchi botlarning noaniq to'plami). Boshqacha qilib aytganda, natijada indeksatsiya qilish taqiqlangan sayt bo'limlari, sahifalar guruhlari yoki ommaviy axborot tarkibidagi manbalarga havolalarni o'z ichiga olgan bir nechta ro'yxat bo'lishi kerak. Har bir ro'yxat boshqa robotga mos kelishi kerak. Boshqa barcha botlar uchun taqiqlangan URL-lar ro'yxati ham bo'lishi kerak. Saytning mantiqiy tuzilishini serverdagi ma'lumotlarning fizik joylashuvi bilan taqqoslash asosida, shuningdek sahifalarning URL-manzillarini quyidagicha guruhlash orqali ro'yxatlar tuzing. ularning funktsional xususiyatlari. Masalan, siz rad etish ro'yxatiga har qanday xizmat kataloglari tarkibini (joylashuvi bo'yicha guruhlangan) yoki barcha foydalanuvchilar profil sahifalarini (maqsadiga ko'ra guruhlangan) kiritishingiz mumkin.
3-qadam
Ikkinchi bosqichda tuzilgan ro'yxatlarning har biri uchun URL belgilarini tanlang. Faqat standart robots.txt ko'rsatmalaridan va aniqlanmagan robotlardan foydalangan holda robotlar uchun istisno ro'yxatlarini qayta ishlashda maksimal uzunlikdagi noyob URL qismlarini ajratib ko'rsatish kerak. Qolgan manzillar to'plamlari uchun siz aniq qidiruv tizimlarining xususiyatlariga muvofiq shablonlarni yaratishingiz mumkin.
4-qadam
Robots.txt faylini yarating. Bunga direktiv guruhlarni qo'shing, ularning har biri ma'lum bir robot uchun taqiqlangan qoidalar to'plamiga mos keladi, ularning ro'yxati birinchi bosqichda tuzilgan. Ikkinchisidan keyin barcha boshqa robotlar uchun ko'rsatmalar guruhi bajarilishi kerak. Qoidalar guruhlarini bitta bo'sh satr bilan ajrating. Har bir qoidalar to'plami robotni identifikatsiya qiluvchi User-agent direktivasi bilan boshlanishi kerak, so'ngra URL guruhlarini indekslashni taqiqlovchi Disallow direktivasi. Uchinchi bosqichda olingan qatorlarni Disable direktivalari qiymatlari bilan bajaring. Direktivalar va ularning ma'nolarini ikki nuqta bilan ajrating. Quyidagi misolni ko'rib chiqing: User-agent: YandexDisallow: / temp / data / images / User-agent: * Disallow: / temp / data / Ushbu ko'rsatmalar to'plami asosiy robotga ko'rsatma beradi. Yandex qidiruvi substring / temp / data / images / tarkibidagi URL manzilini indekslamasligi kerak. Shuningdek, u boshqa barcha robotlarning / temp / data / o'z ichiga olgan URL manzillarini indekslashiga yo'l qo'ymaydi.
5-qadam
Robots.txt-ni kengaytirilgan standart yo'riqnomalar yoki qidiruv tizimining o'ziga xos ko'rsatmalari bilan to'ldiring. Bunday ko'rsatmalarga misollar: Xost, Sayt xaritasi, So'rov darajasi, tashrif vaqti, Crawl kechikishi.
