eGospodarka.pl
eGospodarka.pl poleca

eGospodarka.plGrupypl.comp.programming[OT] google crawl
Ilość wypowiedzi w tym wątku: 10

  • 1. Data: 2010-11-11 11:10:11
    Temat: Re: [OT] google crawl
    Od: bobas <b...@o...pl>

    W dniu 2010-11-11 16:54, identifikator: 20040501 pisze:
    > sory, że trochę nie ta grupa, ale na www nie chcą mi powiedzieć,
    > czy pająki google mają jakieś ustalone adresy IP? gdzie znaleźć ich spis?
    >
    > ciągle pojawiają się u mnie z innych IP, tylko dwie początkowe cyfry się
    > nie zmieniają... ale to chyba niemożliwe, żeby zagarneli 2^16 adresów IP?

    Zdaje się, że jest coś takiego jak pliki robots.txt (czy coś w tym
    stylu) i tam można coś powpisywać by ograniczyć działanie pająka
    wyszukiwarki. Wiem, że to działa, bo niektóre strony w wynikach Google
    są bez opcji "kopia". Ale czy można tam wpisać by się całkiem odwalili,
    to nie wiem.


  • 2. Data: 2010-11-11 15:54:45
    Temat: [OT] google crawl
    Od: "identifikator: 20040501" <N...@g...pl>

    sory, że trochę nie ta grupa, ale na www nie chcą mi powiedzieć,
    czy pająki google mają jakieś ustalone adresy IP? gdzie znaleźć ich spis?

    ciągle pojawiają się u mnie z innych IP, tylko dwie początkowe cyfry się nie
    zmieniają... ale to chyba niemożliwe, żeby zagarneli 2^16 adresów IP?


  • 3. Data: 2010-11-11 18:26:26
    Temat: Re: [OT] google crawl
    Od: yesma <y...@f...pl>

    bobas pisze:

    > [...] niektóre strony w wynikach Google
    > są bez opcji "kopia".
    <meta name="robots" content="noarchive">

    --
    Pozdrawiam - Grzechu
    Linux x86_64


  • 4. Data: 2010-11-11 18:31:12
    Temat: Re: [OT] google crawl
    Od: yesma <y...@f...pl>

    identifikator: 20040501 pisze:
    > sory, że trochę nie ta grupa, ale na www nie chcą mi powiedzieć,
    > czy pająki google mają jakieś ustalone adresy IP? gdzie znaleźć ich spis?

    nie jestem pewien bo nie czytałem o tym ale prawdopodobnie
    pobierają adresy z serverów DNS

    --
    Pozdrawiam - Grzechu
    Linux x86_64


  • 5. Data: 2010-11-11 20:10:05
    Temat: Re: [OT] google crawl
    Od: "identifikator: 20040501" <N...@g...pl>

    dla wszystkich zainteresowanych, znalazłem:
    http://www.spiders.pl/baza-ip.php


  • 6. Data: 2010-11-11 23:10:40
    Temat: Re: [OT] google crawl
    Od: Tomasz Sowa <t...@t...NOSPAM.org>

    Dnia Thu, 11 Nov 2010 21:10:05 +0100, identifikator: 20040501 napisał(a):

    > dla wszystkich zainteresowanych, znalazłem:
    > http://www.spiders.pl/baza-ip.php

    Powyższa lista nie jest aktualna, tak na szybko co ostatnio mnie
    odwiedziło:
    2010.11.11 15:56:34 66.249.66.144 GET www.ttmath.org/issue/decimal_int/
    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

    66.249.66.144 nie ma na tamtej liście.

    --
    Tomek


  • 7. Data: 2010-11-12 08:53:08
    Temat: Re: [OT] google crawl
    Od: "identifikator: 20040501" <N...@g...pl>

    > 66.249.66.144 nie ma na tamtej liście.

    właśnie zauważyłem, może Ktoś widział spis IP robotów?


  • 8. Data: 2010-11-12 09:01:51
    Temat: Re: google crawl
    Od: "Marcin 'Qrczak' Kowalczyk" <q...@k...org.pl>

    On Nov 12, 12:10 am, Tomasz Sowa <t...@t...NOSPAM.org> wrote:
    > Dnia Thu, 11 Nov 2010 21:10:05 +0100, identifikator: 20040501 napisał(a):
    >
    > > dla wszystkich zainteresowanych, znalazłem:
    > >http://www.spiders.pl/baza-ip.php
    >
    > Powyższa lista nie jest aktualna, tak na szybko co ostatnio mnie
    > odwiedziło:
    > 2010.11.11 15:56:34 66.249.66.144 GETwww.ttmath.org/issue/decimal_int/
    > Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
    >
    > 66.249.66.144 nie ma na tamtej liście.

    Rozpoznawanie robotów Google po IP to kiepski pomysł. Lepiej po User-
    Agent.


  • 9. Data: 2010-11-12 10:40:42
    Temat: Re: [OT] google crawl
    Od: Michoo <m...@v...pl>

    W dniu 11.11.2010 16:54, identifikator: 20040501 pisze:
    > sory, że trochę nie ta grupa, ale na www nie chcą mi powiedzieć,
    > czy pająki google mają jakieś ustalone adresy IP? gdzie znaleźć ich spis?

    A po co ci te adresy ip?

    --
    Pozdrawiam
    Michoo


  • 10. Data: 2010-11-15 10:16:41
    Temat: Re: [OT] google crawl
    Od: WRonX <WRonX@[-CUT-].WRonX.net>

    W dniu 2010-11-11 16:54, identifikator: 20040501 pisze:
    > sory, że trochę nie ta grupa, ale na www nie chcą mi powiedzieć,
    > czy pająki google mają jakieś ustalone adresy IP? gdzie znaleźć ich spis?

    http://www.google.com/support/webmasters/bin/answer.
    py?answer=182072

    "Adres IP używany przez Googlebota od czasu do czasu ulega zmianie.
    Wizyty Googlebota najlepiej jest identyfikować przy użyciu nagłówka
    klienta użytkownika (Googlebot). To, czy robot uzyskujący dostęp do
    Twojego serwera jest w rzeczywistości Googlebotem, możesz zweryfikować,
    korzystając ze zwrotnego wyszukiwania DNS."

    Pytanie, czy pisza, ze adres bota, ktory odwiedza konkretna strone moze
    sie zmienic, czy ogolnie, lista adresow IP botow Google moze sie zmieniac...



    Pozdrawiam.
    --
    [= WRonX =] [= W...@-...NET =] [= http://WRonX.NET =]
    [= GCS/CC d->++ s+:- a- C++++$ U P>++ L+ !E W+++$ N++(+++) =]
    [= !o-- K-? w++$ !O !M- !V-- PS+ PE !Y !PGP !t !5 X++ R++ =]
    [= tv+ b+++ DI++ D+ G+ e+++ h--->---- r+++ y? =]

strony : [ 1 ]


Szukaj w grupach

Szukaj w grupach

Eksperci egospodarka.pl

1 1 1

Wpisz nazwę miasta, dla którego chcesz znaleźć jednostkę ZUS.

Wzory dokumentów

Bezpłatne wzory dokumentów i formularzy.
Wyszukaj i pobierz za darmo: