On Monday, April 4, 2016 at 6:54:22 PM UTC+2, slawek wrote:
> On Mon, 4 Apr 2016 04:57:56 -0700 (PDT), "M.M." <m...@g...com>
> wrote:
> > ( Sum_1^N abs( uzyskany_i - pożądany_i ) ^ 0.5 ) / N
>
> Zwróć uwagę, że dobra metoda powinna być niezmiennicza wobec
> transformacji. Tzn. najlepsze dopasowanie nie może się zmieniać przy
> zamianie osi, przy obrocie itd. Zwykła regresja tego nie potrafi, bo
> wagi są tylko w y.

O ile się nie mylę, odporna na transformacje będzie każda metoda, w której
funkcja błędu jest oparta nie na rzucie pionowym, ale na rzucie ortogonalnym.
Niestety rzut ortogonalny wymaga iterowania. Czyli znowu lepsza metoda
kosztem większego nakładu obliczeniowego. Rzut ortogonalny również/przynajmniej
nie ma minimów lokalnych, więc metoda w miarę wdzięczna.


> Z kolei dopasowanie minimalizujące sumę odległości od prostej (w X i
> Y) nie ma uzasadnienia statystycznego.
Zależy od zadania. Jeśli mamy dużo danych, jeśli te dane są dokładne, ale
obarczone losowym-niewielkim szumem, jeśli znamy całym model i jeśli tylko
nie znamy współczynników liniowych - to co można zrobić lepszego, niż
właśnie ułożyć układ równań normalnych i rozwiązać?

Pewnie zarzucisz mi, że powyżej opisałem rzadką sytuację, cóż, masz
rację. Ale ponadto, gdy nie wiemy z czym mamy do czynienia, to na
początek też warto spróbować dobrać liniowe współczynniki metodą
najmniejszych kwadratów. Warto choćby dlatego, że jest w miarę szybka i
daje dobry punkt wyjścia dla dalszych przemyśleń. Więc są przynajmniej
dwie sytuacje w których uzasadnienie użycia jest, choć nie zawsze jest
to uzasadnienie statystyczne.

W pracy Cichosza jest cały rozdział poświęcony 'reprezentacji rozszerzonej',
która zwiększa możliwości 'metody liniowej'. Czasami to daj dobre rezultaty.



> Wprowadzenie wag dla X daje problem nieliniowy.
Nie wiem o jakie wprowadzenie wag chodzi, jest sposób na dodanie
wag, który nie wpływa na utratę liniowości, ale pewnie masz na
myśli coś innego.


> No i można próbować mediany zamiast sumy.
Mediana to jest wartość która dzieli posortowany ciąg na pół. Jeśli
chodzi o to, aby sumę funkcji błędu zastąpić medianą, to... nigdy
nie stosowałem tego w praktyce. Wydaje się ryzykowne, bo zbiór
z małą medianą może mieć bardzo duże maksimum.


Pozdrawiam