Teie veebisaidi juurtega salvestatud robots.txt-fail annab veebirobotitesse nagu otsingumootorite ämblikud, milliseid katalooge ja faile neil on lubatud indekseerida. Robots.txt-faili on lihtne kasutada, kuid seal on mõned asjad, mida peaksite meeles pidama:
- Musta mütsi veebrobotid ignoreerivad teie robots.txt faili. Kõige levinumad tüübid on pahavaraprobotid ja robotid, kes otsivad saagikoristuseks e-posti aadresse.
- Mõned uued programmeerijad kirjutavad roboteid, mis ignoreerivad robots.txt faili. Seda tehakse tavaliselt vea tõttu.
- Igaüks võib näha teie robots.txt faili. Neid nimetatakse alati robots.txtiks ja need salvestatakse veebisaidi juurtena alati.
- Lõpuks, kui keegi lingib faili või kataloogi, mis on robots.txt-failist välja jäetud lehelt, mis ei ole nende robots.txt-failist välistatud, võivad otsingumootorid seda ikkagi leida.
Ärge kasutage robots.txt faile, et varjata midagi olulist. Selle asemel peaksite turvaliste paroolide taga asetama olulise teabe või jätma selle veebist täielikult välja.
Kuidas neid näidisfaile kasutada
Kopeerige tekst valimist, mis on kõige lähemal sellele, mida soovite teha, ja kleepige see oma robots.txt faili. Muutke roboteid, katalooge ja failinimesid oma eelistatud konfiguratsioonile.
Kaks Basic Robots.txt-faili
Kasutaja agent: *
Keela: /
See fail ütleb, et iga robot (User-agent: *), kellele see pääseb, peaks ignoreerima saidi kõiki lehti (Keela: /).
Kasutaja agent: *
Keela:
See fail ütleb, et iga robot (User-agent: *), kellele see pääseb, lubab iga saidi lehte (Disallow:) keelata.
Saate seda ka teha, jättes robots.txt faili tühjaks või üldse mitte saidil.
Kaitske spetsiaalseid katalooge robotidelt
Kasutaja agent: *
Keela: / cgi-bin /
Keela: / temp /
See fail ütleb, et mis tahes robot (User-agent: *), millele see pääseb, peaks ignoreerima katalooge / cgi-bin / ja / temp / (Disallow: / cgi-bin / Disallow: / temp /).
Spetsiaalsete lehtede kaitsmine robotidelt
Kasutaja agent: *
Keela: /jenns-stuff.htm
Keela: /private.php
See fail ütleb, et iga robot (User-agent: *), kellele see pääseb, peaks ignoreerima faile /jenns-stuff.htm ja /private.php (Keela: /jenns-stuff.htm Keela: /private.php).
Vältida konkreetse robot juurdepääsu saidile
Kasutaja-agent: Lycos / xx
Keela: /
Selles failis öeldakse, et Lycos bot (User-agent: Lycos / xx) ei luba juurdepääsu saidile (Disallow: /).
Lubage ainult üks konkreetne robotjuurdepääs
Kasutaja agent: *
Keela: /
Kasutaja-agent: Googlebot
Keela:
See fail keelab kõigepealt kõik robotid, nagu me tegime eespool, ja selgesõnaliselt võimaldab Googlebot (User-agent: Googlebot) juurdepääsu kõigele (keelata).
Ühendage mitu rida, et saada täpselt soovitud välistused
Kuigi on parem kasutada väga kaasavat User-agent-rida, nagu User-agent: *, võite olla nii täpsed kui soovite. Pidage meeles, et robotid loevad faili järjekorras. Nii et kui esimesed read ütlevad, et kõik robotid on kõigest blokeeritud ja seejärel failis, siis öeldakse, et kõikidel robotidel on ligipääs kõigile, on robotidel juurdepääs kõigele.
Kui te pole kindel, kas olete robots.txt faili õigesti kirjutanud, võite oma robots.txt faili kontrollimiseks või uue kirjutamiseks kasutada Google Webmaster Tools.