Witam,

W zasadzie znam odpowiedź ale chciałbym ją uzyskać od Was. Może macie
inne przemyślenia niż ja. Mianowicie problem jest taki: pewna firma
chciałby na bieżąco mieć raporty jakie ceny oferuje jej konkurencja na
każdy z oferowanych produktów na ich stronach WWW, a ta jest liczna.
Bazowanie na wyszukiwarce Google jest uciążliwe i bardzo mało dokładne a
ponadto gdyby jakiś automat miał korzystać z ich wyników wyszukiwania,
to Google zablokowałyby go dość szybko.

Czy takie przedsięwzięcie da się w ogóle zrealizować? Jeśli tak, to jak
by mogło to hipotetycznie działać?

--
Pozdrawiam,
Marek

do góry

W dniu 2015-01-19 o 18:42, Marek pisze:
> Witam,
>
> W zasadzie znam odpowiedź ale chciałbym ją uzyskać od Was. Może macie
> inne przemyślenia niż ja. Mianowicie problem jest taki: pewna firma
> chciałby na bieżąco mieć raporty jakie ceny oferuje jej konkurencja na
> każdy z oferowanych produktów na ich stronach WWW, a ta jest liczna.

Oferta jest liczna czy konkurencja jest liczna? ;)

> Bazowanie na wyszukiwarce Google jest uciążliwe i bardzo mało dokładne a
> ponadto gdyby jakiś automat miał korzystać z ich wyników wyszukiwania,

Jeżeli ta konkurencja to jedna czy dwie (czy kilka - w sensie niedużo)
witryny (sklepy?) to parsuj te witryny.

Piszę "niedużo" bo dla każdej witryny konkurencji musiałbyś pisać inny
parser. Jak takich konkurentów/witryn jest dużo, to dużo czasu zajmie ci
napisanie parsera/ów...

W telegraficznym skrócie...
Jeżeli dany towar w danej witrynie ma zawsze stały adres (np.
www.towary.eu/towar/1, towar) i ma stały szablon, w którym cena
wyświetlana jest w jakimś stałym miejscu (albo charakterystycznie
otagowana) to sprawa jest prosta.
A jeszcze lepiej jak adresy towarów są podobne:
www.towary.eu/towary/1, towar
www.towary.eu/towary/2, towar1
www.towary.eu/towary/3, towar2
itd..
parsujesz w pętli podstrony i już.

> to Google zablokowałyby go dość szybko.

Jak admin konkurencyjnej witryny jest ogarnięty zrobi to samo...
Musiałbyś dysponować sporym zapleczem, albo na tyle rzadko parsować żeby
się nie zorientował. Jak ma duży ruch to może się nie zorientuje zbyt
szybko.

> Czy takie przedsięwzięcie da się w ogóle zrealizować? Jeśli tak, to jak
> by mogło to hipotetycznie działać?

Zapuszczasz skrypt parsujący w cronie raz/dwa/trzy (niepotrzebne
skreślić) razy dziennie i niech wysyła ci raport na maila.

Pozdrawiam
Piotr

do góry

>
> Oferta jest liczna czy konkurencja jest liczna? ;)

A to zależy od interpretacji liczności. Weźmy konkretnie branżę
sportową, choć bez ograniczania się w przyszłości. Załóżmy, że firma
sprzedaje 100 artykułów i chciała by mieć wiedzę jak konkurencja
postępuje. Ilość konkurencyjnych firm - mniej więcej możesz się
domyślać. Jest tego trochę.

> Jak admin konkurencyjnej witryny jest ogarnięty zrobi to samo...

Domyślam się, choć być może sam będzie zainteresowany skorzystaniem z
takiej informacji :-) No ale pomińmy może ten aspekt.

> Zapuszczasz skrypt parsujący w cronie raz/dwa/trzy (niepotrzebne
> skreślić) razy dziennie i niech wysyła ci raport na maila.

Czyli bazować na firmach albo wklepanych z palca, albo kupić jakiś
katalog firm? Chyba to jedyna droga.

Zastanawia mnie tylko w jaki sposób ustalić, że produkt na stronie
konkurencji jest tożsamy z produktem oferenta. Ten punkt mnie mocno
niepokoi.

--
Pozdrawiam,
Marek

do góry

W dniu 2015-01-19 o 22:05, Marek pisze:
>>
>> Oferta jest liczna czy konkurencja jest liczna? ;)
>
> A to zależy od interpretacji liczności. Weźmy konkretnie branżę
> sportową, choć bez ograniczania się w przyszłości. Załóżmy, że firma
> sprzedaje 100 artykułów i chciała by mieć wiedzę jak konkurencja
> postępuje. Ilość konkurencyjnych firm - mniej więcej możesz się
> domyślać. Jest tego trochę.

Czyli musisz napisać drugiego gogla :)
A na poważnie, przecież żeby się zorientować jak jest u konkurencji nie
musisz skanować wszystkich sklepów na świecie oferujących artykuły
sportowe. Zawężasz wybór do "reprezentawywnej" próbki. Na celownik
bierzesz swoje miasto/województwo/państwo, albo inne kryterium wielkość
firmy konkurencyjnej czy coś...
Zresztą co ja piszę..., przecież chyba wiesz z kim chcesz konkurować?

Jak chcesz znać _wszystkie_ ceny, wszystki, to nie masz wyjścia -
skanujesz wszystkich... a to kosztuje.

>> Jak admin konkurencyjnej witryny jest ogarnięty zrobi to samo...
>
> Domyślam się, choć być może sam będzie zainteresowany skorzystaniem z
> takiej informacji :-)

Aha, czyli sparsujesz jego witrynę i sprzedasz mu informację po ile on
sprzedaje swoje towary. Ciekawa koncepcja. :)

> No ale pomińmy może ten aspekt.

No to może bardziej sprecyzuj co chcesz osiągnąć. Bo coś mi się widzi,
że ty chcesz kolejną porównywarkę cen zrobić

>> Zapuszczasz skrypt parsujący w cronie raz/dwa/trzy (niepotrzebne
>> skreślić) razy dziennie i niech wysyła ci raport na maila.
>
> Czyli bazować na firmach albo wklepanych z palca, albo kupić jakiś
> katalog firm?

Kupisz katalog firm, a i tak będziesz musiał wklepać z palca. Znasz
jakiś katalog firm, który ma skatalogowane linki do produktów w tych
firmach?

> Zastanawia mnie tylko w jaki sposób ustalić, że produkt na stronie
> konkurencji jest tożsamy z produktem oferenta.

Organoleptycznie :)

> Ten punkt mnie mocno
> niepokoi.

Spróbuj sieci neuronowych. Wyucz i wpuść do sieci niech szuka :)

Pozdrawiam
Piotr

do góry

W dniu 2015-01-19 o 22:41, Kviat pisze:

> A na poważnie, przecież żeby się zorientować jak jest u konkurencji nie
> musisz skanować wszystkich sklepów na świecie oferujących artykuły
> sportowe. Zawężasz wybór do "reprezentawywnej" próbki. Na celownik
> bierzesz swoje miasto/województwo/państwo, albo inne kryterium wielkość
> firmy konkurencyjnej czy coś...

> Zresztą co ja piszę..., przecież chyba wiesz z kim chcesz konkurować?

No więc właśnie. Wstępnie przyjąłem (o czym nie chciałem celowo pisać)
iż firma szukająca informacji o konkurencji sama zbuduje listę domen
konkurencyjnych firm a dopiero od tego momentu zacznie działać automat.
Chyba to jedyne rozsądne podejście.

>>> Jak admin konkurencyjnej witryny jest ogarnięty zrobi to samo...
>>
>> Domyślam się, choć być może sam będzie zainteresowany skorzystaniem z
>> takiej informacji :-)
>
> Aha, czyli sparsujesz jego witrynę i sprzedasz mu informację po ile on
> sprzedaje swoje towary. Ciekawa koncepcja. :)

On plus jego konkurencja. Może zobaczyć jak wypada na tle tej
konkurencji a więc w/g mnie to cenna informacja.

> No to może bardziej sprecyzuj co chcesz osiągnąć. Bo coś mi się widzi,
> że ty chcesz kolejną porównywarkę cen zrobić

Poniekąd tak. Sęk w tym, że do porównywarki cen firmy same się zapisują
a po drugie wynikiem działania jest tylko jeden produkt i lista
oferentów. A ja chcę zrobić porównywarkę konkurentów cenowych z "moją"
ofertą, która nie jest jednym produktem lecz całą ich listą. Piszę w
cudzysłowie gdyż to nie o mnie chodzi. Ja mam na uwadze jedynie
rozpoznanie czy to ma sens od strony logiczno technicznej.

> Kupisz katalog firm, a i tak będziesz musiał wklepać z palca. Znasz
> jakiś katalog firm, który ma skatalogowane linki do produktów w tych
> firmach?

Mi chodzi tylko o domeny konkurencji. Linki same się muszą skompletować.
Sam doradzałeś aby w cronie parsować witrynę :-)

>> Zastanawia mnie tylko w jaki sposób ustalić, że produkt na stronie
>> konkurencji jest tożsamy z produktem oferenta.
>
> Organoleptycznie :)

Czyli przekładając na język aplikacji: klient, czyli "kolekcjoner
informacji" tworzy:
a) listę domen konkurencji
b) katalog swoich produktów, które chce porównać
c) robot kolekcjonuje linki dla każdej z witryn potencjalnie zgodne z
którymkolwiek z "moich" produktów
d) kolekcjoner ręcznie potwierdza lub odrzuca propozycje zgodności
e) na tej podstawie będą tworzone raporty

> Spróbuj sieci neuronowych. Wyucz i wpuść do sieci niech szuka :)

Nawet pracę dyplomową w tym kierunku robiłem :-) Z armatą na wróble.
Parser musi działać szybko, porównywać proste wzorce.

--
Pozdrawiam,
Marek

do góry