Dnia Fri, 04 Dec 2009 23:20:51 +0000, porneL napisał(a):

> On Fri, 04 Dec 2009 18:47:00 -0000, pol <v...@o...pl> wrote:
>
>> lazi mi pelno botow po stronie. nie mam nic przeciwko yahoo,cuil czy
>> google, ale coraz wiecej jest z bialorusi, czech czy rosji (yandex.ru)
>> tak sie zastanawiam czy sa one na stronie potrzebne? w koncu co mi po
>> zsindexowaniu w jakiejs ruskiej wyszukiwarce? co o tym sadzicie czy nie
>> lepiej dac na boty disallow z wylaczeniem tych kilku najwiekszych i
>> najpoipularniejszych? z drugiej strony czy boty z rosji,czech czy
>> bialorusi beda sie stosowaly do ustawien w robot.txt? :)
>
> A czemu miały by się nie stosować? Tamtejszy Internet nie wygląda jak na
> filmach z Bondem ;)
>
>
> Jak chcesz blokować boty za nadmierny ruch, to zacznij od Yahoo. Czasem
> jak się zatnie, to potrafi stronę obciążać gorzej, niż spamboty.
>
> Tak na poważnie, to nie ma sensu blokować botów wyszukiwarek. Te, które
> grzecznie dają się blokować jednocześnie generują najmniej ruchu.
>
> Jak blokować, to spamboty. Spamerzy najczęściej nie płacą za ruch jaki
> generują i im zwisa jak bardzo obciążają strony. Z tym, że żaden spambot
> nawet nie dotknie robots.txt i blokowanie ich to trudniejsza sprawa.
> Trzeba blokować je po IP (zob. spamhaus DROP i czarna lista IP sblam).

no dobra, ale powiedz mi czy jest sens zeby moja strona byla indeksowana
na jakis serwerach w rosji, bialorusi czy czechach?