Örvitinn

Leit.is er sökudólgurinn

Um daginn sagði ég að leit.is styddist við ömurlega botta og gerði þá ráð fyrir að það væru aðrir aðilar sem væru að reka bottana. Þá ályktun dró ég af misskilningi, því á þessum vélum er vefþjónn með síðu frá þeim aðila.

Nú hefur komið í ljós að þetta er keyrt á vélum leit.is, þeir eiga alla sök í máli. Þeir eru semsagt að keyra leitarbotta sem skoða ekki robots.txt og þykjast auk þess vera browserar. Þetta er til skammar og hreint út sagt fáránleg hegðun hjá fyrirtæki í þessum bransa.

Þeir hafa ekki svarað bréfinu sem ég sendi þeim síðast en ennþá halda þessir árans bottar áfram að þjösnast. Vélarnar sem um er að ræða eru [213.190.100.85, 213.190.100.86, 213.190.100.87] og traceroute fyrir þær lítur svona út:

1 ns1.grunnur.is (212.30.209.126) 0.335 ms 0.330 ms 0.229 ms
2 172.30.30.1 (172.30.30.1) 0.387 ms 0.385 ms 0.380 ms
3 grunnur.is-gw.simnet.is (157.157.57.77) 1.086 ms 0.945 ms 1.022 ms
4 internet-breidholt-gw.isholf.is (157.157.255.130) 1.178 ms 1.311 ms 1.187 ms
5 ls-bb-gw1.isholf.is (157.157.173.254) 1.165 ms 1.206 ms 1.188 ms
6 rix-gw.vortex.is (193.4.59.15) 1.871 ms 1.686 ms 1.522 ms
7 213.190.100.85 (213.190.100.85) 2.300 ms 2.920 ms 2.104 ms

Ég sendi póst á vortex.is áðan og bað þá um að skoða málið.

vefmál
Athugasemdir

Gunnar - 29/10/05 11:28 #

Að ekki sé talað um hversu áreiðanleg sú leitarvél er sem rukkar fyrirtæki fyrir að vera með í gagnagrunninum, lénum sem ekki greiða er hent út. Sjá tvær gamlar færslur frá mér um þetta, einnig skráningarsíðu leit.is.

Ég gaf endanlega skít í leit.is eftir þetta og hef kappkostað að segja sem flestum frá þessu. Ég skil vel að þurfa peninga til að reka þjónustuna en þessi fjáröflunaraðferð rústar alveg trúverðugleika leit.is.

Stígur - 31/10/05 10:53 #

Sælir félagar, þetta er svona nokkurn veginn rétt. Leit.is rekur vélarnar (bottana) og berum við alla ábyrgð á þessu.

En við höfum verið að reyna að breyta bottunum þannig að þeir hlusti betur á robots.txt og er það loksins að koma í gegn. Þetta gengur hægt þar sem þetta er gert af aðilum erlendis og er víst ekki eins einfalt og maður vildi að breyta þessu (hef ekki betri skýringu).

Einnig má athuga að með þessari nýju leitarvél leysist kvótavandamálið sem var með gömlu og því er óþarfi að rukka fyrir innskráðar síður.

Finnst þið helvíti harðir við fyrirtæki sem hefur ekkert gert nema gott fyrir íslenska netverja.

Kveðja, Stígur vefstjóri leit.is

Matti - 31/10/05 10:59 #

Stígur, eins og þú væntanlega veist er dálítið maus að reka server, jafnvel þó hann sé stabíll. Það er því helvíti pirrandi þegar maður verður fyrir svona árás, þó óviljandi sé, leitarvél sem hamast á .php síðum sem fara í gagnagrunn étur resource auk þess sem vefþjónsloggar margfaldaset að stærð. Það er rosalega ergjandi að sjá að íslensk leitarvél er að þræða vefinn á þennan hátt, hundsi robots.txt og fari fram undir fölsku flaggi.

Það er gott að heyra að þetta er að lagast og vonandi gengur ykkur vel, ég óska ykkur alls hinsa besta í þessum bransa.

Ég hef gert ítrekaðar tilraunir til að fá leit.is til að skoða vefsvæði mín (á réttan hátt) án árangurs. Mín reynsla af leit.is er því ekkert sérlega góð.

Þetta mál er líka ágæt kennslustund í almannatengslum fyrir ykkur, því ég sendi ykkur póst um málið um leið og ég skrifaði fyrri færsluna en fékka aldrei svar.

Már - 31/10/05 12:50 #

Stígur, áttar þú þig á því hvað það er hrikalega hallærislegt að þykjast vera "pró" leitarþjónusta, og velja að nota leitarhugbúnað sem virðir ekki einu sinni lágmarks siðareglur um hegðun leitarróbóta, og segja svo að það sé "ekki einfalt" að gera eitthvað í þessu.

Matti var bara nákvæmlega jafn harður við ykkur og þið áttuð skilið, í þessu tilfelli, og Gunnar endurtekur bara gagnrýni sem hefur heyrst í mörg, mörg ár (og sem er a.m.k. að hluta til réttmæt).

Ég óska ykkur alls hins besta (í alvöru!) en mér finnst þið hins vegar skjóta ykkur all hrapalega í fótinn í þessu máli og ekki síst með þessum viðbrögðum.

Virðingarfyllst,