Ilość wypowiedzi w tym wątku: 1
-
1. Data: 2006-12-21 19:05:06
Temat: Niezmordowany crawler2.wp.pl
Od: Wojciech Ścigała <u...@s...wojtus.net>
Mam stronę, na której robots.txt mówi wyraźnie:
User-agent: *
Disallow: /
A od niedawna crawler2.wp.pl łączy mi się ponad 20 razy dziennie i
pobiera robots.txt, próbując z róznymi wartościami User-agent.
Tylko na mnie się tak uwziął, czy ktoś jeszcze potwierdzi zjawisko?
--
Wojtuś.net
do górystrony :
[ 1 ]
Freelancer: jak pracuje, ile zarabia, skąd ma zlecenia?
