-
Data: 2022-03-15 12:18:48
Temat: Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.]
Od: "Andrzej A. Filip" <a...@o...eu> szukaj wiadomości tego autora
[ pokaż wszystkie nagłówki ]Tomek <s...@w...xx.pl> pisze:
> W dniu 13.03.2022 o 20:56, Andrzej A. Filip pisze:
>> Roman Tyczka <r...@h...you.spammer> pisze:
>>> On 11.03.2022 07:31, Andrzej A. Filip wrote:
>>>> Sugestia przestała był użyteczna. Amazon blokuje User-Agent wget i
>>>> samego wget "zależnie od fazy księżyca". Kilka razy zadziałało a
>>>> teraz blokuje dostęp prawie zawsze.
>
>
> To może użyj wgeta z parametrem:
> --random-wait
Problem polega na tym że amazom.com *teraz już* odwala próbę
ściągnięcia pierwszej strony przez wget.
---request begin---
GET /Best-Sellers-Science-Fiction-Fantasy/zgbs/books/25/ HTTP/1.1
Host: www.amazon.com
User-Agent: Wget/1.21.2
Accept: */*
Accept-Encoding: identity
Connection: Keep-Alive
---response begin---
HTTP/1.1 503 Service Unavailable
Content-Type: text/html
Content-Length: 2671
Connection: keep-alive
...
Vary: Content-Type,Accept-Encoding,X-Amzn-CDN-Cache,X-Amzn
-AX-Treatment,User-Agent
...
X-Cache: Error from cloudfront
...
--
Andrzej A. Filip
Najnowsze wątki z tej grupy
- Jakie znacie działające serwery grup dyskusyjnych?
- is it live this group at news.icm.edu.pl
- php, linki z nazwami a $_GET, SEO
- www polityka pl captcha
- dyktatura brudnego palucha
- www.znanylekarz.pl
- Czy pytanie o sczytywanie stron programami/skryptami to tu?
- Grupy webdevowe
- Jak wydrukować stronę?
- IIS, kilka witryn
- linki <a href="/strona.php"> (ze slashami)
- co rozszerza stronę??
- responsywny akapit <p>
- Czy istnieje jakiś emulator przeglądarek pod Mac'a?
- taka sama konfiguracja dla localhost i produkcji
Najnowsze wątki
- 2025-03-05 Zielona GĂłra => Konsultant wdroĹźeniowy Comarch XL/Optima (KsiÄgowoĹ
- 2025-03-05 Białystok => Spedytor Międzynarodowy (handel ładunkami/prowadzenie
- 2025-03-05 Warszawa => Specjalista ds. Sprzedaży (transport drogowy) <=
- 2025-03-05 Środa Wielkopolska => Konsultant wewnętrzny SAP FI/CO <=
- 2025-03-05 Zielona Góra => Senior Field Sales (system ERP) <=
- 2025-03-05 Warszawa => Data Engineer (Tech Lead) <=
- 2025-03-05 Kraków => Business Development Manager - Network and Network Security
- 2025-03-05 Zaniepokojeni mieszkańcy
- 2025-03-05 Ile pieniędzy ma bank?
- 2025-03-05 Ostrów Świętokrzy => Node.js / Fullstack Developer <=
- 2025-03-05 Białystok => Architekt rozwiązań (doświadczenie w obszarze Java, A
- 2025-03-05 Warszawa => Frontend Developer (Angular13+) <=
- 2025-03-05 Warszawa => Frontend Developer (obszar Angular13+) <=
- 2025-03-05 Chiny-Kraków => Backend Developer (Node + Java) <=
- 2025-03-05 Warszawa => JavaScript / Node / Fullstack Developer <=