Użytkownik "Segmentation Fault" <c...@o...eu> napisał w
wiadomości news:4c57d3da$0$2605$65785112@news.neostrada.pl...
> Na Twoim miejscu zaczął bym od sprawdzenia jak zadziała histogram na
> Twoich danych, przed zaprzęganiem bayesa. I tak Ci się przyda porównanie
> z "prostszą" metodą, jak zrobisz tą bardziej skomplikowaną.

Na razie mam zbiór treningowy niezbyt duży 12 kB i taki sam (czyli duży)
zbiór testowy. Przy takiej ilości testowej prawdopodobieństwo bardzo szybko
przekracza minimalny zakres liczb (staje się mniejsze nawet niż 1e-32000)
dlatego liczby muszą być normalizowane. Dla porównania między Windows1250 a
Latin2 wystarcza histogram jednobajtowy i niedużo polskich liter w testowym
tekście aby doskonale rozróżnił. Należy zauważyć że te dwa standardy są
bardzo podobne, 12 na 18 znaków jest identycznych, ale wystarczył jeden znak
ś aby rozkład prawdopodobieństwa wyniósł 98.15% do 1.85%. Gdyby nie
wygładzanie (dodawanie jedynki do licznika i liczby znaków do mianownika w
celu eliminacji prawdopodobieństwa zerowego) byłoby to 100% do 0% - nic
dziwnego skoro litera występuje w jednym zbiorze kontrolnym a w drugim nie.
Zobaczymy jak to będzie dla Utf-8 i Utf-16. Dla tego ostatniego częstość
występowania jednego bitu nie wystarczy, bo może być w postaci big-endian i
little-endian ale ogólnie 1 bajtowe porównanie na tym przykładzie dobrze
sobie radzi.