-
Path: news-archive.icm.edu.pl!mat.uni.torun.pl!news.man.torun.pl!newsfeed.pionier.net
.pl!newsfeed.tpinternet.pl!atlantis.news.tpi.pl!news.tpi.pl!not-for-mail
From: Wojciech Ścigała <u...@s...wojtus.net>
Newsgroups: pl.internet.polip
Subject: Niezmordowany crawler2.wp.pl
Date: Thu, 21 Dec 2006 20:05:06 +0100
Organization: tp.internet - http://www.tpi.pl/
Lines: 11
Message-ID: <emelu7$das$1@atlantis.news.tpi.pl>
NNTP-Posting-Host: bzn234.internetdsl.tpnet.pl
Mime-Version: 1.0
Content-Type: text/plain; charset=ISO-8859-2; format=flowed
Content-Transfer-Encoding: 8bit
X-Trace: atlantis.news.tpi.pl 1166727943 13660 83.19.43.234 (21 Dec 2006 19:05:43
GMT)
X-Complaints-To: u...@t...pl
NNTP-Posting-Date: Thu, 21 Dec 2006 19:05:43 +0000 (UTC)
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; pl-PL; rv:1.7.12) Gecko/20050915
X-Accept-Language: pl, en-us, en
Xref: news-archive.icm.edu.pl pl.internet.polip:79588
[ ukryj nagłówki ]Mam stronę, na której robots.txt mówi wyraźnie:
User-agent: *
Disallow: /
A od niedawna crawler2.wp.pl łączy mi się ponad 20 razy dziennie i
pobiera robots.txt, próbując z róznymi wartościami User-agent.
Tylko na mnie się tak uwziął, czy ktoś jeszcze potwierdzi zjawisko?
--
Wojtuś.net
Najnowsze wątki z tej grupy
- Jest tutaj kto? Halo, Darius Expert?
- Czy to konieczne? ATMAN - 30.06.2019 - Wyłączenie news.atman.pl
- pl.internet.polip - is DEAD?
- ovh
- INEA
- Prośba o traceroute z Vectry
- BGP - wszyscy wkładają głowę w piasek.
- http://pl
- Re: Czemu jest wylaczany serwer w3cache.icm.edu.pl ?
- Taaaka integracaj na rynku, a tu nikt, nic..
- Alternatywna sieć dla internetu kiedyś w Polsce
- ooerator gsm + stały ip z revdns
- Dostęp do ip nostrady
- narzędzia do weryfikacji poprawności bazy WHOIS
- T-mobile bawi się w MITM....
Najnowsze wątki
- 2024-12-12 Warszawa => Administrator Bezpieczeństwa IT <=
- 2024-12-12 Ostrów Wielkopolski => Trener zespołu sprzedaży Call Center <=
- 2024-12-12 Kraków => Key Account Manager <=
- 2024-12-11 SEP 1 kV E
- 2024-12-11 DNS restrictions are on
- 2024-12-11 wielkie bu
- 2024-12-11 Białystok => Inżynier bezpieczeństwa aplikacji <=
- 2024-12-11 Aku LiPo źródło dostaw - ktoś poleci ?
- 2024-12-11 Warszawa => Specjalista Bezpieczeństwa Informacji <=
- 2024-12-11 Wrocław => Application Security Engineer <=
- 2024-12-11 Warszawa => Analyst in the Trade Development department (experience wi
- 2024-12-11 Lublin => Programista Delphi <=
- 2024-12-11 Motodziennik #305 Nowy ELEKTRYK za 350 złotych miesięcznie? Kreatywne kredytowanie problemów
- 2024-12-11 Warszawa => Spedytor Międzynarodowy <=
- 2024-12-11 Katowice => Key Account Manager (ERP) <=
![Oferta tańszych mieszkań na sprzedaż rośnie powoli [© Freepik]](https://s3.egospodarka.pl/grafika2/rynek-wtorny/Oferta-tanszych-mieszkan-na-sprzedaz-rosnie-powoli-263406-50x33crop.jpg "Oferta tańszych mieszkań na sprzedaż rośnie powoli [© Freepik]")
Oferta tańszych mieszkań na sprzedaż rośnie powoli
