Kirish
Robots.txt fayli saytning asosiy katalogida joylashgan matn fayli bo'lib, unda qidiruv robotlari uchun maxsus ko'rsatmalar yozilgan. Ushbu ko'rsatmalar saytdagi ba'zi bo'limlar yoki sahifalarni indekslashni taqiqlashi, domenning to'g'ri "ko'zgusi" ni ko'rsatishi, qidiruv robotiga hujjatlarni serverdan yuklab olish o'rtasida ma'lum vaqt oralig'ini kuzatishni tavsiya qilishi mumkin va hokazo.
Ushbu faylning ba'zi foydali xususiyatlari:
1. Biz robotga sayt sahifalarini kamida 20 soniya oraliqda yuklashni aytamiz (yukni kamaytirish uchun VPS/CloudServerda foydali):
Foydalanuvchi-agent: *
Ko'rish kechikishi: 20
2. Barcha robotlar tomonidan indekslashdan /admin katalogini yoping:
Foydalanuvchi-agent: *
Ruxsat bermaslik: /admin/
3. Barcha robotlarni butun saytni indekslashdan bosh torting:
Foydalanuvchi-agent: *
Ruxsat bermaslik: /
4. Bitta robotga indekslashga ruxsat bering va qolganlarini taqiqlang:
Foydalanuvchi-agent: Yandex
Ruxsat bermaslik: foydalanuvchi-agent: *
Ruxsat bermaslik: /
