On Jul 20, 10:35 am, Seweryn Habdank-Wojewódzki <h...@g...com>
wrote:
> Witam,
>
> > Jakbys zpodal mi dane, to bym zrobil symulacje MC.
> Co to znaczy?
No a co moze oznaczac? Nie podales danych i nie mozna
policzyc prawdopodobienstwa. Jesli dobrze zrozumialem, to
system ma zbyt duzo cech aby policzyc analitycznie na
papierze. Wtedy mozna zrobic symulacje MC. Skomplikowane
elementy systemu mozna zastapic funkcja rand o takim samym
rozkladzie i o takich samych zaleznosciach... i masz miliony
symulacji na sekunde... mozesz sprawdzic jak czesto wymagana
funkcjonalnosc nie zadziala.
Pozdrawiam

do góry

Witam,

> No a co moze oznaczac? Nie podales danych i nie mozna
> policzyc prawdopodobienstwa.

Ech ... same dane to nie wszystko, musisz znac model systemu -
niestety tego w calosci nie moge podac.

Ogolnie to wyglada tak, ze mam 8 typow maszyn (ktore w zaleznosci
od konfiguracji tworza klastry o rozmiarze od 15 maszyn do 27 maszyn.
W sumie jest tak, ze jesli dowolne dwie tego samego typu padna to jest
klapa. Do tego dochodzi padniecie zasilania lub UPS i klimatyzacji.
Kazda maszyna oprocz OS (3 rozne OSy w zaleznosci od typu maszyny).
OSy mozesz zalozyc, ze sa raczej odporne, ale bez przesady nie mozna
zalozyc 100%, powiedzmy, ze mozna zalozyc od 99,0% do 99,99% w
zaleznosci od OS. Kazdy OS dzwiga 2-3 krytycznych procesow.
Kazdy znich moze pasc na pewien czas, ale nie na dlugo i znowu
jesli dwa takie same procesy na takich samych maszynach padna na raz
to klapa. Procesy maja bufory stale lub ulotne w zaleznosci od
krytycznosci
danych. Maszyny maja rozne dyski (SSD, obrotowe lub poprostu specjalne
flashe, tam sa RAIDy 50 wiec mozna przyjac wysoka niezawodnosc,
ale nie 100%). Chociaz pad dysku w RAIDzie moze powodowac spadek
jego wydajnosci. Maszyny sa przemyslowe z CPU dostosowanym do ciaglej
pracy i o poszerzonym zakresie odpornosci na temperatury tez wysoka
niezawodnosc, tak wiec padniecie klimy na pewien czas nie powoduje
zadnych strat. W ogolnosc obserwacja jest taka, ze pojedynczy pad na
krotki
czas nie przynosci strat. Pad dowolnego elementu na dluzszy czas moze
powodowac utrudnienia w load balancingu co moze powodowac klopoty
obliczeniowe i przesylu (kolejkowania) dancych. Dlugie pady potrafia
rowniez
generowac pewne fale raportowania i reagowania na "uposledzenie
systemu".

Polaczenia sa mniej wiecej takie, ze dane z kliku maszyn
strumieniowane
sa do pojedynczych agregatorow potem te dokonuja agregacji wynikow
i strumieniuja dalej, az do 2 maszyn centralnych (one sa traktowane
jako 1).

Przepustowosc sieci opisalem w innym poscie. Switche sa tez rozsadne,
ale trzeba uwzglednic ich awaryjnosc.

Dokladniej nie moge opisac.

Nie mniej jednak widze do czego zmiezasz w stwierdzeniu dot
MC. Majac model moge zapuscic symulacje psucia sie kolejnych
elementow systemu i ocenic wartosc srednia wariancje, tudziez
korelacje i kowariancje procesu powstalego z symulacji.

Pozdrawiam,
Seweryn Habdank-Wojewodzki.

do góry

On Jul 21, 7:03 pm, Seweryn Habdank-Wojewódzki <h...@g...com>
wrote:
> Witam,
>
> > No a co moze oznaczac? Nie podales danych i nie mozna
> > policzyc prawdopodobienstwa.
>
> Ech ... same dane to nie wszystko, musisz znac model systemu -
> niestety tego w calosci nie moge podac.
Im wiecje wiadomo tym lepsza symulacje mozna zrobic.

> Ogolnie to wyglada tak, ze mam 8 typow maszyn (ktore w zaleznosci
> od konfiguracji tworza klastry o rozmiarze od 15 maszyn do 27 maszyn.
Huh bylo na poczatku cos o 3 elementach, teraz samych maszyn jest
15-27.
Napisanie takiej symulacji moze byc pracochlonne... ale mozliwe :D
I na pewno prostsze niz liczenie analityczne na kartce ;-)

Wezmy jednak najprostszy przyklad:
A - prawdopodobienstwo ze odcieli zasilanie na dluzej niz pojemnosc
UPS
B1 - prawd. ze padla pierwsza maszyna typu B
B2 - prawd. ze padla druga maszyna typu B
C1 - prawd. ze padla pierwsza maszyna typu C
C2 - prawd. ze padla druga maszyna typu C
UB - prawd. ze uzytkownik wysyla zapytanie do maszyny typu B
UC - prawd. ze uzytkownik wysyla zapytanie do maszyny typu C
UB+UC=1

i taki programik:

sukcesy = 0;
porazki = 0;
while( cierpliwosc ) {

if( rnd() <= A ) { // czy padlo zasilanie i nie ma upsow?
porazki ++; // bez wzgledu na to co chce user zrobic, to mu
sie nie uda
continue;
}

// wybor usera
if( rnd() <= UB )
B_or_C = B
else
B_or_C = C

if( B_or_C == B && rnd() <= B1 && rnd() <= B2 ) { // padla na razi B1
i B2
porazki ++ ;
continue;
}

if( B_or_C == C && rnd() <= C1 && rnd() <= C2 ) { // padla na raz C1
i C2
porazki ++ ;
continue;
}

sukcesy ++;

}
drukuj sukcesy / ( sukcesy + porazki );
koniec

Jesli tylko funkcja rnd "jest dobra" to po duzej ilosci iteracji
powyzszy
programik powinien zwrocic przyblizone prawdopodobienstwo ze
uzytkownik z powodzeniem skorzysta z systemu.

Pozdrawiam

do góry

Witam,

> Huh bylo na poczatku cos o 3 elementach, teraz samych maszyn jest
> 15-27.

Napisalem:

Zaczalem sobie powolutku rozpisywac rownanka, ale jesli system jest
zlozony z trzech elementow zaczyna juz byc skomplikowany
do liczenia na papierku.

Nie napisalem, ze mam trzy maszyny, tylko, ze od trzech zaczyna sie
problem :-D.

> Napisanie takiej symulacji moze byc pracochlonne... ale mozliwe :D
> I na pewno prostsze niz liczenie analityczne na kartce ;-)

Bede temat meczyl.

Pozdrawiam,
Seweryn Habdank-Wojewodzki.

do góry

On Jul 22, 7:58 pm, Seweryn Habdank-Wojewódzki <h...@g...com>
wrote:

> Nie napisalem, ze mam trzy maszyny, tylko, ze od trzech zaczyna sie
> problem :-D.
No tak :)

> > Napisanie takiej symulacji moze byc pracochlonne... ale mozliwe :D
> > I na pewno prostsze niz liczenie analityczne na kartce ;-)
> Bede temat meczyl.
Ciekawy jestem jak Ci sie to uda, daj znac jak sprawa sie zakonczyla.

Nie wiem jak taka symulacja sie zachowa gdy bedzie bardzo duzo
danych i kazda dana bedzie podana z pewnym bledem. Nie wiem
czy bledy sie nawarstwia, czy moze bedzie przeciwnie i bledy sie
usrednia.

Taka symulacje trudno bedzie odpluskiwac... idealnie byloby jakby
napisalo ja niezaleznie dwoch-trzech programistow - wtedy symulacja
kazdego programisty powinna dac podobny wynik :)

Ostatnio meczylem symulacje MC do czegos w rodzaju podwojnego
tuningu. Chcialem dobrac parametry w jednym programie ale
proces dobierania byl wyjatkowo upierdliwy. Wiec byla potrzebna
jakas wyrafinowana metoda do doboru parametrow. Ale metoda
doboru tez wymagala dobrego sparametryzowania.... Wiec metode
sparametryzowalem przy pomocy symulacji MC i potem
zastosowalem ja do pierwotnego problemu. Efekt byl porazajacy,
przez dwie doby zyskalem wiecej niz wczesniej przez rok gdy
kierowalem sie sama intuicja :)

Pozdrawiam

do góry

On Fri, 22 Jul 2011 14:11:41 -0700 (PDT), Mariusz Marszałkowski
<m...@g...com> wrote:

>On Jul 22, 7:58 pm, Seweryn Habdank-Wojewódzki <h...@g...com>
>wrote:
>
>> Nie napisalem, ze mam trzy maszyny, tylko, ze od trzech zaczyna sie
>> problem :-D.
>No tak :)
>
>> > Napisanie takiej symulacji moze byc pracochlonne... ale mozliwe :D
>> > I na pewno prostsze niz liczenie analityczne na kartce ;-)
>> Bede temat meczyl.
>Ciekawy jestem jak Ci sie to uda, daj znac jak sprawa sie zakonczyla.
>
>Nie wiem jak taka symulacja sie zachowa gdy bedzie bardzo duzo
>danych i kazda dana bedzie podana z pewnym bledem. Nie wiem
>czy bledy sie nawarstwia, czy moze bedzie przeciwnie i bledy sie
>usrednia.
>
>Taka symulacje trudno bedzie odpluskiwac... idealnie byloby jakby
>napisalo ja niezaleznie dwoch-trzech programistow - wtedy symulacja
>kazdego programisty powinna dac podobny wynik :)
>

Wie Pan, takei zadania to sie studentom daje... Jak rowneiz symulacja
"takich rzeczy" to nie czarna magia i studentow sie uczy...

Az zalosc bierze jak sie w tym watku pracowicie odkrywa sie kolo i
zarowke. W pocie czola. A moze by tak, Panowie, lacznei z Oryginalnym
Pytaczem, postudiowac troche lietrature? Googla nei macie?... Albo
moze poczyatc jakis przystepny prodrecznik, na przyklad ten?...

Models of Network Reliability: Analysis, Combinatorics, and Monte
Carlo, Ilya B. Gertsbakh (Author), Yoseph Shpungin

A.L.

do góry

On Jul 23, 6:16 am, A.L. <l...@a...com> wrote:
> On Fri, 22 Jul 2011 14:11:41 -0700 (PDT), Mariusz Marszałkowski
>
>
>
>
>
>
>
>
>
> <m...@g...com> wrote:
> >On Jul 22, 7:58 pm, Seweryn Habdank-Wojewódzki <h...@g...com>
> >wrote:
>
> >> Nie napisalem, ze mam trzy maszyny, tylko, ze od trzech zaczyna sie
> >> problem :-D.
> >No tak :)
>
> >> > Napisanie takiej symulacji moze byc pracochlonne... ale mozliwe :D
> >> > I na pewno prostsze niz liczenie analityczne na kartce ;-)
> >> Bede temat meczyl.
> >Ciekawy jestem jak Ci sie to uda, daj znac jak sprawa sie zakonczyla.
>
> >Nie wiem jak taka symulacja sie zachowa gdy bedzie bardzo duzo
> >danych i kazda dana bedzie podana z pewnym bledem. Nie wiem
> >czy bledy sie nawarstwia, czy moze bedzie przeciwnie i bledy sie
> >usrednia.
>
> >Taka symulacje trudno bedzie odpluskiwac... idealnie byloby jakby
> >napisalo ja niezaleznie dwoch-trzech programistow - wtedy symulacja
> >kazdego programisty powinna dac podobny wynik :)
>
> Wie Pan, takei zadania to sie studentom daje...  Jak rowneiz symulacja
> "takich rzeczy" to nie czarna magia i studentow sie uczy...
>
> Az zalosc bierze jak sie w tym watku pracowicie odkrywa sie kolo i
> zarowke. W pocie czola. A moze by tak, Panowie, lacznei z Oryginalnym
> Pytaczem, postudiowac troche lietrature? Googla nei macie?... Albo
> moze poczyatc jakis przystepny prodrecznik, na przyklad ten?...

> Models of Network Reliability: Analysis, Combinatorics, and Monte
> Carlo, Ilya B. Gertsbakh (Author), Yoseph Shpungin
Za namiary na podrecznik dziekuje, przyda sie. Ale nie zgodze
sie ze to jest oczywista wiedza i kazdy kto tylko skonczyl
studia sprawnie i bez bledow to zrobi. Zrobi to pewnie jedna
osoba na 50 ktora sie w czyms takim specjalizowala.
Pozdrawiam

do góry

On Sat, 23 Jul 2011 01:50:52 -0700 (PDT), Mariusz Marszałkowski
<m...@g...com> wrote:

>On Jul 23, 6:16 am, A.L. <l...@a...com> wrote:
>> On Fri, 22 Jul 2011 14:11:41 -0700 (PDT), Mariusz Marszałkowski
>>
>>
>>
>>
>>
>>
>>
>>
>>
>> <m...@g...com> wrote:
>> >On Jul 22, 7:58 pm, Seweryn Habdank-Wojewódzki <h...@g...com>
>> >wrote:
>>
>> >> Nie napisalem, ze mam trzy maszyny, tylko, ze od trzech zaczyna sie
>> >> problem :-D.
>> >No tak :)
>>
>> >> > Napisanie takiej symulacji moze byc pracochlonne... ale mozliwe :D
>> >> > I na pewno prostsze niz liczenie analityczne na kartce ;-)
>> >> Bede temat meczyl.
>> >Ciekawy jestem jak Ci sie to uda, daj znac jak sprawa sie zakonczyla.
>>
>> >Nie wiem jak taka symulacja sie zachowa gdy bedzie bardzo duzo
>> >danych i kazda dana bedzie podana z pewnym bledem. Nie wiem
>> >czy bledy sie nawarstwia, czy moze bedzie przeciwnie i bledy sie
>> >usrednia.
>>
>> >Taka symulacje trudno bedzie odpluskiwac... idealnie byloby jakby
>> >napisalo ja niezaleznie dwoch-trzech programistow - wtedy symulacja
>> >kazdego programisty powinna dac podobny wynik :)
>>
>> Wie Pan, takei zadania to sie studentom daje...  Jak rowneiz symulacja
>> "takich rzeczy" to nie czarna magia i studentow sie uczy...
>>
>> Az zalosc bierze jak sie w tym watku pracowicie odkrywa sie kolo i
>> zarowke. W pocie czola. A moze by tak, Panowie, lacznei z Oryginalnym
>> Pytaczem, postudiowac troche lietrature? Googla nei macie?... Albo
>> moze poczyatc jakis przystepny prodrecznik, na przyklad ten?...
>
>> Models of Network Reliability: Analysis, Combinatorics, and Monte
>> Carlo, Ilya B. Gertsbakh (Author), Yoseph Shpungin
>Za namiary na podrecznik dziekuje, przyda sie. Ale nie zgodze
>sie ze to jest oczywista wiedza i kazdy kto tylko skonczyl
>studia sprawnie i bez bledow to zrobi. Zrobi to pewnie jedna
>osoba na 50 ktora sie w czyms takim specjalizowala.
>Pozdrawiam


PROGRAMISTA nei zrobi, ale inzynier zrobi. Tzreba wiedzec troche
wiecej niz jawa i cyplusplus. "Niezawodnosc sieci komputerowych" i
"Symulacja procesow dyskretnych" to standardowe kursy na standardowych
uniwersytetach.

"Ale nie zgodze sie ze to jest oczywista wiedza i kazdy kto tylko
skonczyl studia sprawnie i bez bledow to zrobi."

No, jak skonczyl Wysza Prywatna Skole Politologii i Marketingu to nei
zrobi.

A bledy mozna zrobic zawsze.

A.L.

do góry

W dniu 23.07.2011 18:21, A.L. pisze:
> PROGRAMISTA nei zrobi, ale inzynier zrobi. Tzreba wiedzec troche
> wiecej niz jawa i cyplusplus. "Niezawodnosc sieci komputerowych" i
> "Symulacja procesow dyskretnych" to standardowe kursy na standardowych
> uniwersytetach.
>
> "Ale nie zgodze sie ze to jest oczywista wiedza i kazdy kto tylko
> skonczyl studia sprawnie i bez bledow to zrobi."
>
> No, jak skonczyl Wysza Prywatna Skole Politologii i Marketingu to nei
> zrobi.
>
> A bledy mozna zrobic zawsze.

Mogę powiedzieć tyle że owszem na studiach są np. dwa przedmioty ale na
takich sieciach zazwyczaj jest kupa teorii i trochę praktyki a mało
liczenia. Natomiast na przedmiotach gdzie jest liczenie i jakieś
symulacje to zazwyczaj nie ma życiowych przykładów. Są pokazywane różne
wzory, metody itp. ale na danych, które nie są czymś rzeczywistym.
Niestety tak wygląda nauczanie, więc nie tylko absolwenci Wyższej
Prywatnej Szkoły Politologii i Marketingu będą mieli z takim
zagadnieniem problem. Oczywiście będą mieli większy, bo nie znają
tematyki ale ci co skończyli informatyczne kierunki mają w głowie teorię
i pewną wiedzę, którą ciężko zastosować bez dodatkowego wgłębienia się i
nauczenia samemu.

Pozdrawiam

do góry

On 17 Lip, 21:40, Seweryn Habdank-Wojewódzki <h...@g...com>
wrote:

> Czy znacie jakis soft lub pomoce do obliczania tudziez formalnego
> potwierdzania dostepnosci (availability) systemow rozproszonych?

Model Checking - narzędzia takie jak nuSMV, UPPAAL i parę innych.

> W ubezpieczeniach i w technice oblicza sie prawdopodobienstwa choroby
> lub uszkodzenia sie jakiegos podzespolu.
> Zaczalem sobie powolutku rozpisywac rownanka, ale jesli system jest
> zlozony z trzech elementow zaczyna juz byc skomplikowany
> do liczenia na papierku.
>
> Moze ktos sie bawil w udowadnianie, ze po czasie T system bedzie
> dzialal z jakim tam prawdopodobienstwem.
> Albo calkowicie inzyniersko, jak udowodnic, ze dostepnosc
> rozproszonego systemu wynosi np. 99.7%.

Niestety nuSMV i UPPAAL dają tylko odpowiedzi w rodzaju: "tak, system
będzie dostępny dla każdego przebiegu". Nie znam się na
probabilistycznym MC, ale wiem że jest do tego narzędzie:
http://www.prismmodelchecker.org/.

Pozdrav.
M.

do góry