eGospodarka.pl
eGospodarka.pl poleca

eGospodarka.plGrupypl.comp.programming[OT] google crawlRe: [OT] google crawl
  • Path: news-archive.icm.edu.pl!news.gazeta.pl!newsfeed.pionier.net.pl!news.glorb.com!n
    peer01.iad.highwinds-media.com!news.highwinds-media.com!feed-me.highwinds-media
    .com!nx01.iad01.newshosting.com!newshosting.com!newsfeed.neostrada.pl!unt-exc-0
    2.news.neostrada.pl!unt-spo-b-01.news.neostrada.pl!news.neostrada.pl.POSTED!not
    -for-mail
    Date: Thu, 11 Nov 2010 12:10:11 +0100
    From: bobas <b...@o...pl>
    User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.1; pl; rv:1.9.2.12) Gecko/20101027
    Thunderbird/3.1.6
    MIME-Version: 1.0
    Newsgroups: pl.comp.programming
    Subject: Re: [OT] google crawl
    References: <ibh3tm$e0i$1@mx1.internetia.pl>
    In-Reply-To: <ibh3tm$e0i$1@mx1.internetia.pl>
    Content-Type: text/plain; charset=ISO-8859-2; format=flowed
    Content-Transfer-Encoding: 8bit
    Lines: 12
    Message-ID: <4cdc2dfd$0$27032$65785112@news.neostrada.pl>
    Organization: Telekomunikacja Polska
    NNTP-Posting-Host: 83.11.64.95
    X-Trace: 1289498109 unt-rea-a-02.news.neostrada.pl 27032 83.11.64.95:2013
    X-Complaints-To: a...@n...neostrada.pl
    Xref: news-archive.icm.edu.pl pl.comp.programming:187283
    [ ukryj nagłówki ]

    W dniu 2010-11-11 16:54, identifikator: 20040501 pisze:
    > sory, że trochę nie ta grupa, ale na www nie chcą mi powiedzieć,
    > czy pająki google mają jakieś ustalone adresy IP? gdzie znaleźć ich spis?
    >
    > ciągle pojawiają się u mnie z innych IP, tylko dwie początkowe cyfry się
    > nie zmieniają... ale to chyba niemożliwe, żeby zagarneli 2^16 adresów IP?

    Zdaje się, że jest coś takiego jak pliki robots.txt (czy coś w tym
    stylu) i tam można coś powpisywać by ograniczyć działanie pająka
    wyszukiwarki. Wiem, że to działa, bo niektóre strony w wynikach Google
    są bez opcji "kopia". Ale czy można tam wpisać by się całkiem odwalili,
    to nie wiem.

Podziel się

Poleć ten post znajomemu poleć

Wydrukuj ten post drukuj


Następne wpisy z tego wątku

Najnowsze wątki z tej grupy


Najnowsze wątki

Szukaj w grupach

Eksperci egospodarka.pl

1 1 1

Wpisz nazwę miasta, dla którego chcesz znaleźć jednostkę ZUS.

Wzory dokumentów

Bezpłatne wzory dokumentów i formularzy.
Wyszukaj i pobierz za darmo: