W dniu 2015-07-28 17:00, Budzik pisze:
>>> Wysłanie protokołów z komisji wyborczych (mało danych, stosunkowo
>>> mało zapytań) to jest jakieś poważne obciążenie?
>>> Hmm...
>>
>> 1) zależy jak to zaprojektowano
>
> No to trzeba dobrze zaprojektowac - sugerujesz ze wysyłano pliki bmp
> zamiast spakowanego tekstu?

Nie nie to co wysyłano, tylko jak zaprojektowano to wewnątrz- sorki,
robiłeś cos większego niż jakieś strony na mysql-u?

>> 2) tak - bo wszystko jak napisałem odbywa się w tym samym czasie-
>> większość komisji wysyła w tym samym czasie - masz takiego ddosa. I
>> tego nie przewidziano.
>
> Ale to i tak nie jest duzy ruch.
> Poza tym nie przesadzajmy ze w tym samym czasie - moze w ciagu 2-3 godzin
> ale to dla komputerów nie jest przeciez ten sam czas.

Chyba nie pracowałeś w komisji - ok 80-90% komisji będzie próbowało
połączyć się w tej samej godzinie. Mamy ok 3tys komisji (z tego co
pamiętam) wiec trzeba spodziewać się ok 2.5 tysiąca requestów, najpierw
prostsza rzecz, czyli identyfikacja i logowanie certyfikatem, później
przesłanie danych, ich walidacja i zapis do bazy - wszystkich razem oraz
zwrócenie informacji. Wszystko wygląda prosto i jest do zrobienia, ale
jak sobie policzysz czas na obsłużenie większości zapytań, to wiesz
czemu były problemy z połączeniem się. Źle zaprojektowano zapis danych -
przez co się rozjechały, a może zrobiono to właśnie jakiś geniusz użył
do tego mysql-a z transakcjami nie do końca dobrze działającymi. Albo w
ogóle o tym nie pomyślał. Albo zaprojektował to tak, że się
zakleszczyły? Z łączenia 2 systemów działających na tej samej bazie,
które musiały mieć jedną tabelę wspólna, a jednocześnie pracujące na
innych rodzajach transakcji pamiętam, że można było takie coś nawet
działające w laboratorium mieć, jednak, gdy testowaliśmy to w
rzeczywistości, okazało się, że wpływ miało też jakość połączenia, które
mogło dłużej jakiś zasób przetrzymać i nie nie musiały być wysyłane duże
dane. I przy dużo mniejszym obciążeniu niz w warunkach laboratoryjnych
system się wywalał.

>
>> I nie nie tylko jest potrzebna szybka obsługa zapytania, ale i problem
>> zachowania spójności - bo o ile - można przyciąć łącze i odrzucić
>> niektóre zapytania, to w tym wypadku geniusze nie zadbali o spójność
>> danych i te które zeszły częściowo zniszczyły cala resztę. Sorki, ale
>> ten kto to projektował nie miał pojęcia o bazach danych większego niż
>> proste strony www.
>>
> Ok, to wszystko kwestia złego oprogramowania.
> Ale wczesniej pisałes, ze tu była potrzebna baza do duzych obciazen.
> Wiec ponawiam pytanie: jakie duze obciazenia, skoro sam piszesz, ze
> problemem było złe oprogramowanie a nie brak wydajnosci bazy.

Jeśli źle zaprojektowano bazę, to właśnie nie wytrzymała obciążenia i
dodatkowo nie potrafiła sobie poradzić z sytuacją ekstremalną i dane
były niespójne.


--
Kaczus
http://kaczus.ppa.pl