rvitinn

dnalegar leitarvlar

Til ess a leitarvlar eins og google og leit virki arf a skanna innihald vefsna. Um slkt sj srstk forrit sem kallast robots. grunninn til eru etta frekar einfld forrit, au heimskja vefsu og flokka innihald hennar. Taka saman alla linka sunni og heimskja svo r sur ef r hafa ekki veri skoaar nlega. Sralti ml er a skrifa svona forrit og v er tluvert til af eim.

Til ess a hafa stjrn hegun essara forrita geta umsjnarmenn vefjna sett upp skr sem heitir robots.txt. Allar leitarvlar eiga a byrja v a kkja essa skr ur en au gramsa sum sem serverinn hsir. Me v a setja vieigandi skipanir robots.txt skrna getur maur banna kvenum leitarvlum alfari a skoa vefinn ea komi veg fyrir a kvein svi s sknnu.

g bi allar leitarvlar a sleppa v a kkja myndasurnar og lta cgi folderinn eiga sig. Einnig er g me skipanir aalsu dagbkarinnar ar sem g bi leitarvlar um a sleppa v a vsa hana beint en r mega (endilega) kkja linkana fr henni.

Undanfari hef g rekist leitarvlar sem hunsa robots.txt skrna. egar g ver var vi slkt athuga g hvort g get s hvaa fyrirbri eru arna fer. Yfirleitt er etta eitthva sem g vil ekkert vera a jna, eins og t.d. leitarvlar vegum fyrirtkja sem skanna vefinn leit a "copyright infringment". Einnig eru spammerar me leitarvlar sem leita a tlvupstfngum vefsum. g stilli v vefjninn annig a hann einfaldlega banni essum ailum a skoa vefinn. egar eir bija um sur f eir bara 403 return code. g tla ekki a eya minni bandvdd (ea rttara sagt bandvdd CCP) einhverja dna.

vefml