Witam

Mam plik XML ponad 20GB. Z tego pliku sobie wyciągam kawałki tekstu. Te
kawałki chcę sobie zindeksować, tak bym mógł określić częstość
występowania poszczególnych wyrazów i fraz (sekwencji kilku wyrazów -
kolejność wyrazów ma znacznie). Indeks wyszukiwarki chcę zrobić na
własny użytek. Indeks nie musi być super szybki ale musi odpowiadać w
jakimś rozsądnym czasie (do 10s).

Domyślam się, że istnieją jakieś darmowe silniki wyszukiwania (raczej
tylko w C/C++) jakie mogłyby sprostać temu zadaniu. Myślę też że problem
nie jest zbyt specyficzny by nie spytać się na grupach dyskusyjnych. Więc:

Jakie silniki wyszukiwania byście polecili do realizacji tego zadania.


dzięki i pozdrawiam
Szyk

do góry

Użytkownik "Szyk" <s...@o...pl> napisał w wiadomości
news:jdssgg$fgl$1@mx1.internetia.pl...
> Witam
>
> Mam plik XML ponad 20GB. Z tego pliku sobie wyciągam kawałki tekstu. Te
> kawałki chcę sobie zindeksować, tak bym mógł określić częstość
> występowania poszczególnych wyrazów i fraz (sekwencji kilku wyrazów -
> kolejność wyrazów ma znacznie). Indeks wyszukiwarki chcę zrobić na własny
> użytek. Indeks nie musi być super szybki ale musi odpowiadać w jakimś
> rozsądnym czasie (do 10s).
>
> Domyślam się, że istnieją jakieś darmowe silniki wyszukiwania (raczej
> tylko w C/C++) jakie mogłyby sprostać temu zadaniu. Myślę też że problem
> nie jest zbyt specyficzny by nie spytać się na grupach dyskusyjnych. Więc:
>
> Jakie silniki wyszukiwania byście polecili do realizacji tego zadania.
>

Widziałeś to http://vtd-xml.sourceforge.net/ ? Może Ci przypasi. Ja
korzystam z tego w javie.

Pozdro.

M.

do góry

In pl.comp.programming MarlonB <z...@w...kon> wrote:
>
> Użytkownik "Szyk" <s...@o...pl> napisał w wiadomości
> news:jdssgg$fgl$1@mx1.internetia.pl...
>> Witam
>>
>> Mam plik XML ponad 20GB. Z tego pliku sobie wyciągam kawałki tekstu. Te
>> kawałki chcę sobie zindeksować, tak bym mógł określić częstość
>> występowania poszczególnych wyrazów i fraz (sekwencji kilku wyrazów -
>> kolejność wyrazów ma znacznie). Indeks wyszukiwarki chcę zrobić na własny
>> użytek. Indeks nie musi być super szybki ale musi odpowiadać w jakimś
>> rozsądnym czasie (do 10s).
>>
>> Domyślam się, że istnieją jakieś darmowe silniki wyszukiwania (raczej
>> tylko w C/C++) jakie mogłyby sprostać temu zadaniu. Myślę też że problem
>> nie jest zbyt specyficzny by nie spytać się na grupach dyskusyjnych. Więc:
>>
>> Jakie silniki wyszukiwania byście polecili do realizacji tego zadania.
>>
>
> Widziałeś to http://vtd-xml.sourceforge.net/ ? Może Ci przypasi. Ja
> korzystam z tego w javie.
... mysql+sphinx?;-) Z powazaniem
Adam Przybyla

do góry