Die meeste ervare bloggers weet beslis wat robots.txt is en waarom u hierdie lêer benodig. Maar min outeurs jaag dadelik 'n robots.txt-lêer na die installering van 'n blog op WordPress.
Robots.txt is 'n tekslêer wat na die wortelgids van u webwerf gelaai word en bevat instruksies vir kruipers. Die hoofdoel van die gebruik daarvan is om die indeksering van individuele bladsye en afdelings op die webwerf te verbied. Met behulp van robots.txt kan u egter ook die regte domeinspieël spesifiseer, die pad na die sitemap voorskryf en dies meer.
Die meeste moderne soekenjins het geleer om die gewilde CMS goed te navigeer en probeer gewoonlik nie inhoud indekseer wat nie hiervoor bedoel is nie. Google sal byvoorbeeld nie u WordPress-blogadministrasie-area indekseer nie, selfs as u dit nie direk in robots.txt spesifiseer nie. In sommige gevalle kan die gebruik van direkte verbod egter steeds nuttig wees. En ons praat hoofsaaklik oor die verbod op dubbele inhoud.
Sommige webmeesters gaan so ver om die indeksering van kategorie- en etiketbladsye te verbied, aangesien hul inhoud gedeeltelik die inhoud van die hoofblad dupliseer. Maar die meeste is beperk tot die terugspoor- en invoerblaaie, wat artikelinhoud heeltemal dupliseer en glad nie bedoel is vir soekenjins nie. So 'n voorsorgmaatreël sal nie net die resultate van die werf "skoner" maak nie, maar u ook red van moontlike soekfilters, veral na die bekendstelling van die nuwe Google Panda-algoritme.
Hier is die aanbevole riglyne vir 'n robots.txt-lêer (dit sal bykans enige WordPress-blog werk):
Gebruikersagent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / temas Disallow: / trackback / Disallow: / feed / Disallow: * / trackback / Disallow: * / feed /
Let daarop dat die administratiewe vouers wp-admin en wp-inclusive in robots.txt heeltemal gesluit is vir indeksering. Die wp-inhoudmap is slegs gedeeltelik gesluit omdat dit die uploads-gids bevat wat al die beelde van u blog bevat wat geïndekseer moet word.
Al wat u hoef te doen, is om die riglyne van die bostaande kode te kopieer (let op dat elke riglyn op 'n nuwe reël geskryf moet word), stoor dit in 'n tekslêer genaamd robots.txt en laai dit op na die hoofgids van u webwerf.
U kan altyd kyk of robots.txt reg werk deur middel van die Google Webmaster Tools en Yandex Webmaster-koppelvlakke.
