-
Path: news-archive.icm.edu.pl!mat.uni.torun.pl!news.man.torun.pl!newsfeed.pionier.net
.pl!newsfeed.tpinternet.pl!atlantis.news.tpi.pl!news.tpi.pl!not-for-mail
From: Wojciech Ścigała <u...@s...wojtus.net>
Newsgroups: pl.internet.polip
Subject: Niezmordowany crawler2.wp.pl
Date: Thu, 21 Dec 2006 20:05:06 +0100
Organization: tp.internet - http://www.tpi.pl/
Lines: 11
Message-ID: <emelu7$das$1@atlantis.news.tpi.pl>
NNTP-Posting-Host: bzn234.internetdsl.tpnet.pl
Mime-Version: 1.0
Content-Type: text/plain; charset=ISO-8859-2; format=flowed
Content-Transfer-Encoding: 8bit
X-Trace: atlantis.news.tpi.pl 1166727943 13660 83.19.43.234 (21 Dec 2006 19:05:43
GMT)
X-Complaints-To: u...@t...pl
NNTP-Posting-Date: Thu, 21 Dec 2006 19:05:43 +0000 (UTC)
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; pl-PL; rv:1.7.12) Gecko/20050915
X-Accept-Language: pl, en-us, en
Xref: news-archive.icm.edu.pl pl.internet.polip:79588
[ ukryj nagłówki ]Mam stronę, na której robots.txt mówi wyraźnie:
User-agent: *
Disallow: /
A od niedawna crawler2.wp.pl łączy mi się ponad 20 razy dziennie i
pobiera robots.txt, próbując z róznymi wartościami User-agent.
Tylko na mnie się tak uwziął, czy ktoś jeszcze potwierdzi zjawisko?
--
Wojtuś.net
Najnowsze wątki z tej grupy
- Jest tutaj kto? Halo, Darius Expert?
- Czy to konieczne? ATMAN - 30.06.2019 - Wyłączenie news.atman.pl
- pl.internet.polip - is DEAD?
- ovh
- INEA
- Prośba o traceroute z Vectry
- BGP - wszyscy wkładają głowę w piasek.
- http://pl
- Re: Czemu jest wylaczany serwer w3cache.icm.edu.pl ?
- Taaaka integracaj na rynku, a tu nikt, nic..
- Alternatywna sieć dla internetu kiedyś w Polsce
- ooerator gsm + stały ip z revdns
- Dostęp do ip nostrady
- narzędzia do weryfikacji poprawności bazy WHOIS
- T-mobile bawi się w MITM....
Najnowsze wątki
- 2024-11-08 Warszawa => Head of International Freight Forwarding Department <=
- 2024-11-08 Warszawa => Key Account Manager <=
- 2024-11-08 Szczecin => Key Account Manager (ERP) <=
- 2024-11-08 Białystok => Full Stack web developer (obszar .Net Core, Angular6+) <
- 2024-11-08 Wrocław => Senior PHP Symfony Developer <=
- 2024-11-08 Warszawa => QA Engineer <=
- 2024-11-08 Warszawa => QA Inżynier <=
- 2024-11-08 Warszawa => Key Account Manager <=
- 2024-11-08 Gdańsk => Software .Net Developer <=
- 2024-11-08 Akumulator Hyundai
- 2024-11-08 Warszawa => Manager/Specialist e-commerce (B2C) <=
- 2024-11-08 Gdańsk => Specjalista ds. Sprzedaży <=
- 2024-11-08 Gdańsk => Kierownik Działu Spedycji Międzynarodowej <=
- 2024-11-08 znaj podstawe
- 2024-11-08 Chrzanów => Specjalista ds. public relations <=
Freelancer: jak pracuje, ile zarabia, skąd ma zlecenia?
