Ostatnio zauważyłem, że na jednej z moich stron robot googlowy się za
bardzo rozbestwił i włazi tam, gdzie nie powinien.

W robots.txt jest czarne na białym:
User-agent: *
Disallow: /styles/

Disallow: /images/

Disallow: /scripts/

...a google i tak ostatnio to olewają i czytają wszystko z tych
katalogów jak leci. Też tak macie?


--
igrek

do góry

igrek pisze:
> Ostatnio zauważyłem, że na jednej z moich stron robot googlowy się za
> bardzo rozbestwił i włazi tam, gdzie nie powinien.
>
> W robots.txt jest czarne na białym:
> User-agent: *
> Disallow: /styles/
> Disallow: /images/
> Disallow: /scripts/
>
> ...a google i tak ostatnio to olewają i czytają wszystko z tych
> katalogów jak leci. Też tak macie?
>
>

https://www.google.com/webmasters/tools/
przetestuj plik robots.txt na stronie google :)
Konfiguracja witryny -> Dostęp dla robotów (musisz mieć konto google)

do góry

On 21-10-2009 20:12, HaWaN wrote:
> https://www.google.com/webmasters/tools/
> przetestuj plik robots.txt na stronie google :)
> Konfiguracja witryny -> Dostęp dla robotów (musisz mieć konto google)

Konto mam, sprawdziłem i wygląda ok.
Status: 200 (Operacja powiodła się).

Nie mam pomysłów co z tym zrobić.


--
igrek

do góry

igrek <...@...com> pisze:
> Ostatnio zauważyłem, że na jednej z moich stron robot googlowy się za
> bardzo rozbestwił i włazi tam, gdzie nie powinien.
>
> W robots.txt jest czarne na białym:
>
> User-agent: *
> Disallow: /styles/
> Disallow: /images/
> Disallow: /scripts/
>
> ...a google i tak ostatnio to olewają i czytają wszystko z tych
> katalogów jak leci. Też tak macie?

1) Kiedy zmieniłeś robots.txt?
Niedawno => Google "zapamiętuje" robots.txt "na trochę"

2) Czy połączenia są z adresów google?
[ "zbieracze maili" dla spamerów *mogą* udawać Google-Bot ]
Sprawdź we WHOIS kto jest właścicielem adresów z których przychodzą te
połączenia.

--
Andrzej Adam Filip : a...@o...eu : A...@g...com
Brzydkie wierne, a piękne niewierne.
-- Przysłowie włoskie (pl.wikiquote.org)

do góry

2009-10-21 21:28, igrek napisał(a):
> On 21-10-2009 20:12, HaWaN wrote:
> > https://www.google.com/webmasters/tools/
>> przetestuj plik robots.txt na stronie google :)
>> Konfiguracja witryny -> Dostęp dla robotów (musisz mieć konto google)
>
> Konto mam, sprawdziłem i wygląda ok.
> Status: 200 (Operacja powiodła się).

ten status znaczy tyle, że googiel znalazł plik robots.txt.

> Nie mam pomysłów co z tym zrobić.

Zjedź na dół strony
(Adresy URL Podaj adres URL i klienty użytkownika do testowania.)
Wpisz tam adres jakiegoś pliku z blokowanych katalogów i kliknij testuj

Wyniki będą na samym dole.

--
CZAK

do góry