Een van die instrumente om die indeksering van webwerwe deur soekenjins te bestuur, is die robots.txt-lêer. Dit word hoofsaaklik gebruik om te voorkom dat alle of slegs sekere robotte die inhoud van sekere bladsygroepe aflaai. Dit laat u toe om van "vullis" ontslae te raak in die resultate van die soekenjin en, in sommige gevalle, die ranglys van die bron aansienlik te verbeter. Dit is belangrik om die korrekte robots.txt-lêer vir suksesvolle toepassing te hê.
Nodig
teksredakteur
Instruksies
Stap 1
Maak 'n lys van robotte waarvoor spesiale uitsluitingsreëls ingestel word, of riglyne van die uitgebreide robots.txt-standaard, sowel as nie-standaard en spesifieke riglyne (uitbreidings van 'n spesifieke soekenjin) sal gebruik word. Tik in hierdie lys die waardes van die User-Agent-velde van die HTTP-versoekopskrifte wat deur die geselekteerde robots na die werfbediener gestuur word. Die name van die robotte kan ook in die verwysingsafdelings van die soekenjins gevind word.
Stap 2
Kies die groepe URL's van die werfbronne waartoe toegang tot elkeen van die robots geweier moet word, in die lys wat in die eerste stap saamgestel is. Voer dieselfde bewerking uit vir alle ander robotte ('n onbepaalde stel indekseringsbots). Met ander woorde, die resultaat moet verskillende lyste bevat wat skakels bevat na gedeeltes van die werf, groepe bladsye of bronne van media-inhoud wat verbode is om te indekseer. Elke lys moet ooreenstem met 'n ander robot. Daar moet ook 'n lys van verbode URL's vir alle ander bots wees: maak lyste gebaseer op die vergelyking van die logiese struktuur van die webwerf met die fisiese ligging van die data op die bediener, asook deur die URL's van die bladsye te groepeer hul funksionele eienskappe. U kan byvoorbeeld die inhoud van enige katalogusse (gegroepeer volgens ligging) of alle gebruikersprofielbladsye (gegroepeer volgens doel) in die ontkenningslyste insluit.
Stap 3
Kies die URL-tekens vir elk van die bronne in die lyste wat in die tweede stap saamgestel is. Wanneer u uitsluitingslyste vir robots verwerk wat slegs standaard robots.txt-riglyne en ongedefinieerde robots gebruik, moet u die unieke URL-gedeeltes van die maksimum lengte uitlig. Vir die oorblywende stelle adresse kan u sjablone maak volgens die spesifikasies van spesifieke soekenjins.
Stap 4
Skep 'n robots.txt-lêer. Voeg groepe aanwysings daarby, wat elk ooreenstem met 'n stel verbodsreëls vir 'n spesifieke robot, waarvan die lys in die eerste stap saamgestel is. Laasgenoemde moet gevolg word deur 'n groep riglyne vir alle ander robotte. Skei reëlgroepe met 'n enkele leë lyn. Elke reëlstel moet begin met 'n gebruiker-agent-opdrag wat die robot identifiseer, gevolg deur 'n richtlijn nie toelaat nie, wat indeksering van URL-groepe verbied. Maak die lyne wat in die derde stap verkry is, met die waardes van die Disallow-riglyne. Skei die voorskrifte en hul betekenisse met 'n dubbelpunt. Beskou die volgende voorbeeld: Gebruikersagent: Yandex Afkeur: / temp / data / beelde / Gebruikersagent: * Nie: / temp / data / Hierdie stel riglyne gee instruksies oor die hoofrobot van die Yandex-soekenjin om nie die URL te indekseer nie, wat die substring / temp / data / images / bevat. Dit voorkom ook dat alle ander robotte URL's wat / temp / data / bevat, kan indekseer.
Stap 5
Vul robots.txt aan met uitgebreide standaardriglyne of spesifieke riglyne vir soekenjins. Voorbeelde van sulke riglyne is: gasheer, sitemap, aanvraagtempo, besoektyd, kruipvertraging.
