W dniu 2013-05-09 02:10, M.M. pisze:
> W dniu środa, 8 maja 2013 23:29:02 UTC+2 użytkownik R.e.m.e.K napisał:
>
>> Ciagle nie wiem skad bierzesz te 10 sekund. Po piewsze to zalezy od
>> komputera, jesli na Twoim lapku trwa to 10 sekund to na serwerze z
>> prawdziwego zdarzenia moze trwac 0,1 s.
>
> Sprawdzam na lapku i na stacjonarnym, oba kompy sa dosc nowe, ale
> na pewno nie sa to serwery z prawdziwego zdarzenia. Czasami na lapku
> dziala szybciej. Domniemam ze wynika to z ulozenia danych w tabelach.
> Jesli na lapku dane sa obok siebie, to zapytanie bedzie dzialalo
> szybciej niz nawet na serwerze z prawdziwego zdarzenia - zaraz ktos mi
> zarzuci ze pisze oczywiste rzeczy :D
>
> Czy da sie z 10s zejsc do 0.1s tylko dzieki:
> 1) lepszej konfiguracji (np. indeksy, buforowanie w RAM)
> 2) zastosowaniu lepszego sprzetu
> 3) zastosowaniu wiekszej ilosci komputerow?
>
> AD1) powiedzmy ze indeksy juz mam dobre, a buforow RAM nie bede zwiekszal,
> bo w koncu i tak i tak zabraknie.
> AD2) nie mam pod reka dyskow SSD zeby sprawdzic.

tymi sposobami nie osiągniesz dwóch rzędów przyspieszenia.
a przy przyroście danych możesz się spodziewać kwadratowego przyrostu czasu.
> AD3) nie wiem jak sie zachowuje postgres uruchomiony na klastrze,
> zdaje sie ze jest taka mozliwosc, ale nigdy nie korzystalem z niej.
>

Bazy SQL średnio się zrównoleglają, aby spełnic ACID ma zwoje wymagania.

Masz dwie możliwości.
1. Zmienić architekturę rozwiązania. Zamiast za każdym razem pytać bazę
buforować tabele z danymi pośrednimi, łatwiej kupić dodatkowy dysk niż
zwiększyć moc obliczeniową
2.Drastycznie zmienić podejście : MapReduce , noSQL itp

Dzięki rozluźnieniu reguł ACID można efektywnie podejść do
zrównoleglenia, tym bardziej że 10 zwykłych komputerów jest tańszych niż
jeden dwa razy szybszy.



>> Nie bylbym pewien czy niemozliwe, teoretycznie bym to potrafil sobie
>> wyobrazic. Ale nie mam takich doswiadczen, gdyz nie pracuje z duzymi bazami.
> Pewnie sie skonczy tak, ze gdzies wykupie jakas chmure do testow,
> zainstaluje baze i pomierze czasy. Tez nie wiem jakie operacje bazodanowe w
> jakim stopniu sie zrownoleglaja. Szukac w necie i czytac az sie boje,
> trduno odroznic co jest przechwalkami producentow, a co rzetelnym testem.
>

Popatrz na Google, ma miliony razy większą bazę, miliony razy więcej
zapytać a odpowiada w czasie krótszym od 0.1 s


--
Darek