robots.txt fayli nima uchun ishlatiladi?

Robots.txt fayli saytning asosiy katalogida joylashgan matn fayli bo'lib, unda qidiruv robotlari uchun maxsus ko'rsatmalar yozilgan. Ushbu ko'rsatmalar saytdagi ba'zi bo'limlar yoki sahifalarni indekslashni taqiqlashi, domenning to'g'ri "ko'zgusi" ni ko'rsatishi, qidiruv robotiga hujjatlarni serverdan yuklab olish o'rtasida ma'lum vaqt oralig'ini kuzatishni tavsiya qilishi mumkin va hokazo.

Ushbu faylning ba'zi foydali xususiyatlari:
1. Biz robotga sayt sahifalarini kamida 20 soniya oraliqda yuklashni aytamiz (yukni kamaytirish uchun VPS/CloudServerda foydali):
Foydalanuvchi-agent: *
Ko'rish kechikishi: 20
2. Barcha robotlar tomonidan indekslashdan /admin katalogini yoping:
Foydalanuvchi-agent: *
Ruxsat bermaslik: /admin/
3. Barcha robotlarni butun saytni indekslashdan bosh torting:
Foydalanuvchi-agent: *
Ruxsat bermaslik: /
4. Bitta robotga indekslashga ruxsat bering va qolganlarini taqiqlang:
Foydalanuvchi-agent: Yandex
Ruxsat bermaslik: foydalanuvchi-agent: *
Ruxsat bermaslik: /

  • 0 Foydalanuvchilar buni foydali deb topishdi
Bu javob sizga yordam berdimi?

Aloqador maqolalar

Saytdagi viruslar: davolash usuli va xavfsizlik sozlamalari

Sizning saytingiz infektsiyalanganligini qanday aniqlash mumkin? 1. Resurs antivirus yoki...

Veb-saytni zaxiradan qanday tiklash mumkin?

Saytni zaxira nusxasidan tiklash uchun siz texnik yordam xizmatiga - support@billur.com elektron...

Sekin FTP, ma'lumotlarni uzatishda xato

Dastlab, har qanday FTP dasturi deb ataladigan dasturda ishlaydi. faol rejim, shuning uchun...

Domenni qayta yo'naltirish (veb yo'naltirish)

“Domenni yo‘naltirish” xizmatidan foydalanish (veb-yo‘naltirish) Domeningiz bor va xizmatga...

Nima uchun sotib olingan xizmatlar uchun o'z vaqtida to'lash kerak: Domen, Hosting, SSL sertifikati va boshqalar.

Bugungi kunda har bir o'zini hurmat qiladigan tashkilot o'z veb-saytiga ega, bu kompaniyaning...