Fil robots.txt er den viktigste fil som beskriver behandlingen regler sider av søkemotorene. Denne filen er nødvendig for å angi den primære nettstedet ditt navn, site map (sitemap.xml), offentlige og private deler av området.
Fil robots.txt inneholder følgende direktiver:
- User-agent-Direktivet angir hva robot følgende regler
- * - roboter
- Yandex — main-robot Yandex
- Googlebot — Googlebot er den viktigste
- StackRambler — søkemotoren Rambler
- Aport — Aport søkemotor
- Slurp er Yahoo ' s robot
- MSNBot er MSN robot
- Disallow Direktivet er det forbud del av nettstedet
- Lar — Direktivet tillater en del av webområdet
- Host — Direktivet spesifiserer den primære nettstedet ditt navn
- Sitemap— Direktiv veiledning en site map (sitemap.xml)
- Crawl-forsinkelse Direktivet angir hvor mange sekunder roboten kan vente på et svar fra nettstedet (som kreves for tungt lastet ressurser, slik at roboten ikke vurdere nettstedet er utilgjengelig)
- Ren param Direktivet beskriver den dynamiske parametre påvirker ikke innholdet av nettstedet
Помимо директив в robots.txt используются спец символы:
- * - lubi (inkludert tomme) sekvens av tegn
- $ — er en begrensning av reglene
For å kompilere robots.txt bruk retningslinjene ovenfor og sunget av de tegn som følger:
- Angir navnet på den roboten som er skrevet en liste over regler
(User-agent: * - regelen for alle roboter) - Stave en liste over forbudte deler av nettstedet for den som er angitt robot
( Disallow: / - hindre indeksering av hele området) - Stave en liste over tillatte deler av nettstedet
(Tillat: /hjem/ — partisjon hjem tillatt) - Angir navnet på nettsiden
(Vert: crazysquirrel.ru — det viktigste navnet på området crazysquirrel.ru) - Angir den absolutte banen til filen sitemap.xml
(Nettkart: https:// crazysquirrel.ru/sitemap.xml)
Hvis nettstedet har ingen ulovlige emner, robots.txt må være minst 4 linjer:
User-Agent: *
Tillat: /
Vert: crazysquirrel.ru
Nettkartet: https://crazysquirrel.ru/sitemap.xml
Sjekk robots.txt og hvordan påvirker det indeksering av nettstedet ved hjelp av verktøy Yandex