Høyre robots.txt

Fil robots.txt er den viktigste fil som beskriver behandlingen regler sider av søkemotorene. Denne filen er nødvendig for å angi den primære nettstedet ditt navn, site map (sitemap.xml), offentlige og private deler av området.
Fil robots.txt inneholder følgende direktiver:

• User-agent-Direktivet angir hva robot følgende regler
• * - roboter
• Yandex — main-robot Yandex
• Googlebot — Googlebot er den viktigste
• StackRambler — søkemotoren Rambler
• Aport — Aport søkemotor
• Slurp er Yahoo ' s robot
• MSNBot er MSN robot
• Disallow Direktivet er det forbud del av nettstedet
• Lar — Direktivet tillater en del av webområdet
• Host — Direktivet spesifiserer den primære nettstedet ditt navn
• Sitemap— Direktiv veiledning en site map (sitemap.xml)
• Crawl-forsinkelse Direktivet angir hvor mange sekunder roboten kan vente på et svar fra nettstedet (som kreves for tungt lastet ressurser, slik at roboten ikke vurdere nettstedet er utilgjengelig)
• Ren param Direktivet beskriver den dynamiske parametre påvirker ikke innholdet av nettstedet

Помимо директив в robots.txt используются спец символы:

• * - lubi (inkludert tomme) sekvens av tegn
• $ — er en begrensning av reglene

For å kompilere robots.txt bruk retningslinjene ovenfor og sunget av de tegn som følger:

• Angir navnet på den roboten som er skrevet en liste over regler
  (User-agent: * - regelen for alle roboter)
• Stave en liste over forbudte deler av nettstedet for den som er angitt robot
  ( Disallow: / - hindre indeksering av hele området)
• Stave en liste over tillatte deler av nettstedet
  (Tillat: /hjem/ — partisjon hjem tillatt)
• Angir navnet på nettsiden
  (Vert: crazysquirrel.ru — det viktigste navnet på området crazysquirrel.ru)
• Angir den absolutte banen til filen sitemap.xml
  (Nettkart: https:// crazysquirrel.ru/sitemap.xml)

Hvis nettstedet har ingen ulovlige emner, robots.txt må være minst 4 linjer:

Sjekk robots.txt og hvordan påvirker det indeksering av nettstedet ved hjelp av verktøy Yandex