On Tuesday, December 19, 2017 at 2:24:09 AM UTC+1, M.M. wrote:
> On Tuesday, December 19, 2017 at 12:48:30 AM UTC+1, bartekltg wrote:
> > On Monday, December 18, 2017 at 5:33:04 AM UTC+1, M.M. wrote:
> > > Co by było, gdyby rozkład wzorcowy wygenerować innym generatorem,
> >
> > Powinno być w miarę dobrze, tyle, że to test na to, że oba generatory
> > daj ten sam rozkład, nie na to, że generatory sa dobre!
> Oczywiście, to tak naprawdę test na to, że oba dają ten sam rozkład.
> Można tym też testować ten sam z innym zarodkiem.
>
>
> > Do Twoich celów musiałbyś więc założyć, że jeden z nich jest dobry;-)
> > a to może zostać odebrane jako mętne.
> Tak.
>
> > Pamiętaj, że te testy mają test i chi^2.
> 1) Najpierw jest test urodzinowy. Zliczane jest w kubełkach jak często
> było zero powtórzeń, jedno powtórzenie, dwa... N-1.

OK

> 2) Potem jest liczone chi-kwadrat.
> 3) Potem chi-kwadrat podstawiane jest do rozkładu - co w sumie nie jest
> tutaj przydatne.

Pewien jesteś, że chi^2 z kubełków? A nie liczba trafień podwójnych,
potrójnych... w porównaniu do teoretycznej liczby?
To też będzie chi^2, ale kubełkami będzie liczba dni z jednym,
dwoma, trzema, ...k, "wiecej niż k" trafieniami.
k dobrane tak, ze nie ma żadnych zer.
Nie wiem, czy tam nie ma jeszcze innego testu, takiego, co
bierze dużo liczb, sortuje i patrzy na rozkład różnic.
Tam też nie powinno być zer.

> 4) Ostatecznie jest liczona całka rozkładu (dystrybuanta) od zera do
> chi-kwadrat - wychodzi p-value.

I test powtarza się wieloktornie i robi chi^2 na rozkład tego p,
powinien być jednostajny.


> > Rozumiem, że mówisz o zastąpieniu właśnie tego pierwszego testu?
> > Czy drugiego?
> Chyba pierwszego, bo nie bardzo rozumiem jak można zastąpić drugi.
> W pierwszym teście dwa generatory budują jakiś rozkład, tutaj konkretnie
> rozkład dla testu urodzinowego. W drugim, jeden generator jest traktowany
> tak, jakby był teoretycznie idealny i są liczone powyższe punkty od 2 do 4.


Nie wchodzc w szczgoły. Unikałbym pisania, że zakładasz idealność
jakiegoś rozkładu, czy, ze przetestowałeś tak jakiś generator
i jest on dobry. Wspomnij o tym raz w trybie przypuszczającym,
a pisz o tym, ze test stwierdził brak różnic w rozkłądach generowanych
oboma genratorami. W ten sposób nie odstraszysz czytelników;-)


>
> > Jeśli pierwszgo, to znany asymptotyczny rozkład (o dystrybuancie F)
> > używamy tylko do rozsądnego podziału kubełków, generujemy właściwy
> > test, wychodzi x, liczym y = F^-1(x), i ładujemy do odpowiedniego kubełka.
> Właśnie tutaj miałem problem. Niby rozkład teoretyczny jest znany dla
> testu urodzinowego. Liczyłem poissonem, wartość oczekiwaną brałem z tej
> strony:
>
> https://pl.wikipedia.org/wiki/Test_Birthday_Spacings


O, to ten drugi. To o rozkładzie poissona to tylko przybliżenia
dla dłygiego roku;-) O czym masz w referencjach na tej stronie.


>
>
> > Chyba standardowy chi^2 na porównanie wystarczy (ten, gdzie się porównuje
> > do rozkładów brzegowych
> > https://en.wikipedia.org/wiki/Chi-squared_test#Examp
le_chi-squared_test_for_categorical_data
> > )
> To chyba robię dobrze, bo testy dla dwóch różnych generatorów udają się.

Eeee, to tak nie działa, to, że dało wynik OK to kiepska przesłanka;-)

Chyba też nie robisz dokłądnie tak, bo wtedy byś nie miał problemu
z tym, że jeden generator dał 0 w danym kukbełku, bo dzieli się
przez sumę z obu.


> > > albo tym samym z innym zarodkiem?
> >
> > Bardzo zły pomysł. Ten sam generator dla róznych seedów pewnie ma
> > ten sam rozkład. Niekoniecznie dobry. Nic takim testem nie wykryjesz,
> > poza bardzo złymi generatorami;-)
> Hmmm, muszę spróbować i przemyśleć na spokojnie.

Jeśli generator G zasedowany s będzie miał nny rozkłąd niż
zaseedowany s', to jest to oczywiście generator zepsuty.
Ale generator G może mieć ten sam rozkład niezależnie od
seede s, a być ujowym generatorem.

Weż dobry genrator h i zrób z niego kiepski:
Niech G daje liczbę będącą średnią dwuch odpaleń
generatora h. G nie jest nawet w przybliżeniu jednorodny.
A Twój test przejdzie.


> > >Otóż są problemy z liczeniem chi-square, bo inny generator może
> > >dać w jakimś kubełku zero i by trzeba dzielić przez zero.
> >
> > To źle dobrane kubełki.
> > Dobór kubełków powinien być dobrany do oczekiwanej liczby
> > pomiarów.
>
> Hmmm ale przy teście urodzinowym ilość kubełków jest zawsze
> równa ilości pierwszych urodzin.

Nie. Czemu.

Klasycznie bierzesz np 1024 urodzin i rok na 2^24.

To daje średnią 16. Masz coś, co z grubsza wygląda jak rozkład
poissona o średniej 16 i ma 1023 punkty.
Rozsądne kubełki to tak 7-25. Pozostałe połączyłbym w jeden
to tego typu testów

BTW, moze sie przydać
https://www.jstatsoft.org/article/view/v007i03/tufte
sts.pdf


>
> Mnie się zdaje, że albo źle robię test urodzinowy, albo rozkład
> poissona słabo przybliża rozkład testu urodzinowego. Może trzeba
> wziąć bardzo długi rok (np. miliard dni) i tylko kilka
> najczęstszych kubełków... Nie wiem.

Tak. Piszą o tym w przypisach artykułu, który wysłałes;-)

pzdr
bartekltg