On 08/04/2010 01:45 AM, Borneq wrote:
> Użytkownik "Segmentation Fault" <c...@o...eu> napisał w
> wiadomości news:4c57d3da$0$2605$65785112@news.neostrada.pl...
>> Na Twoim miejscu zaczął bym od sprawdzenia jak zadziała histogram na
>> Twoich danych, przed zaprzęganiem bayesa. I tak Ci się przyda porównanie
>> z "prostszą" metodą, jak zrobisz tą bardziej skomplikowaną.
>
> Na razie mam zbiór treningowy niezbyt duży 12 kB i taki sam (czyli duży)
> zbiór testowy. Przy takiej ilości testowej prawdopodobieństwo bardzo
> szybko przekracza minimalny zakres liczb (staje się mniejsze nawet niż
> 1e-32000) dlatego liczby muszą być normalizowane.

A jak liczysz i porównujesz histogramy ?

Ja bym policzył "ile każdego znaczka", potem bym znormalizował
( podzielił wystąpienia każdego znaczka przez ilość wszystkich znaczków
w tekście ). Przy 12.000 znaków "najmniejsza" liczba to będzie 0.000083,
więc jeszcze mieści się we float, na pewno w double.

Potem te znormalizowane histogramy porównywał bym np. licząc korelację
( albo poeksperymentował bym z innymi metodami; wzorki tu:
http://opencv.willowgarage.com/documentation/histogr
ams.html#comparehist
)