Server Side Includes og leitarvélar

Í gærkvöldi breytti ég dagbókinni á þann veg að nú kemur dálkur vinstra megin hjá öllum stökum færslum. Dálkurinn sýnir meðal annars nýjustu færslurnar í dagbókinni.

Sá löstur er á þessari lausn að leitarvélar fá þarna auka efni sem þær flokka með síðunni. Því fylgir að meira verður um að fólk kemur inn á síðu í leit að efni sem ekki er þar lengur. Einnig er þetta spurning um bandvídd, þar sem þarna er verið að sækja efni sem kemur leitarvélum ekki við!

Til að sporna gegn því setti ég þetta þannig upp að leitarvélar fá ekki dálkinn. Það er frekar einfalt. Í httpd.conf skrána þarf að setja nokkrar línur:

BrowserMatchNoCase GoogleBot SEARCH_BOT
BrowserMatchNoCase Scooter SEARCH_BOT

og svo framvegis, eina línu fyrir hverja leitarvél sem við viljum höndla. Auðvelt er að sjá strenginn fyrir leitarvélina með því að skoða teljara eða server logg.

Í template fyrir stöku síðurnar setur maður svo eftirfarandi kóða

<!--#if expr="${SEARCH_BOT}" -->
<!-- search engines will not see anything -->
<!--#else -->
<div id="leftcontent">
<div class="side">
<!--#include virtual="leftcontent.html" -->
</div>
</div>
<!--#endif -->


SSI kemur ekki í staðin fyrir CGI, PHP eða sambærilegt en er fljótleg og þægileg lausn þegar maður þarf að gera eitthvað svona einfalt.

Til að prófa hvort þetta virkar notaði ég urllib2 í python og prófaði ýmsar útgáfur af useragent gildinu, einfalt og fljótlegt.

Þegar Scooter leitarvélin sækir ákveðna síðu fær hún nú 5737 bæti en þegar ég skoða sömu síðu með browser fæ ég 11322 bæti, u.þ.b. 50% bandvíddarsparnaður, reyndar sparast alltaf jafn mikið gagnamagn þannig að sparnaðurinn er hlutfallslega minni eftir því sem síðan er stærri. En þetta eru samt 5585 u.þ.b. 5000 bæti sem sparast í hvert skipti sem leitarvélar lesa síðu í dagbókinni.