On Mon, 4 Apr 2016 04:42:21 -0700 (PDT), "M.M." <m...@g...com>
wrote:
> Tak bym nie argumentował, niektóre algorytmy sprzed 2tys lat mają
> się nadal dobrze. Dopasowanie współczynników liniowych z błędem

Niektóre tak. Ale jak będziesz chciał używać tylko takich, to ani
logarytmów, ani sinusów, ani szeregów Czebyszewa czy choćby
spline'ów.

do góry

On Mon, 4 Apr 2016 04:42:21 -0700 (PDT), "M.M." <m...@g...com>
wrote:
> czego to jest potrzebne? Nikt nie napisał, że do odwiertów :D

Z odwiertami to był taki myk, że przejście od zwykłej regresji
liniowej do czegoś lepszego pozwoliło zamiast np. 15 robić 10
odwiertów i mieć równie dobre wyniki końcowe. A że odwiertami
kosztuje, to ładnie przelicza się to na pieniądze.

do góry

On Mon, 4 Apr 2016 04:57:56 -0700 (PDT), "M.M." <m...@g...com>
wrote:
> ( Sum_1^N abs( uzyskany_i - pożądany_i ) ^ 0.5 ) / N

Zwróć uwagę, że dobra metoda powinna być niezmiennicza wobec
transformacji. Tzn. najlepsze dopasowanie nie może się zmieniać przy
zamianie osi, przy obrocie itd. Zwykła regresja tego nie potrafi, bo
wagi są tylko w y.

Z kolei dopasowanie minimalizujące sumę odległości od prostej (w X i
Y) nie ma uzasadnienia statystycznego.

Wprowadzenie wag dla X daje problem nieliniowy.

No i można próbować mediany zamiast sumy.

do góry

On Monday, April 4, 2016 at 6:54:22 PM UTC+2, slawek wrote:
> On Mon, 4 Apr 2016 04:57:56 -0700 (PDT), "M.M." <m...@g...com>
> wrote:
> > ( Sum_1^N abs( uzyskany_i - pożądany_i ) ^ 0.5 ) / N
>
> Zwróć uwagę, że dobra metoda powinna być niezmiennicza wobec
> transformacji. Tzn. najlepsze dopasowanie nie może się zmieniać przy
> zamianie osi, przy obrocie itd. Zwykła regresja tego nie potrafi, bo
> wagi są tylko w y.

O ile się nie mylę, odporna na transformacje będzie każda metoda, w której
funkcja błędu jest oparta nie na rzucie pionowym, ale na rzucie ortogonalnym.
Niestety rzut ortogonalny wymaga iterowania. Czyli znowu lepsza metoda
kosztem większego nakładu obliczeniowego. Rzut ortogonalny również/przynajmniej
nie ma minimów lokalnych, więc metoda w miarę wdzięczna.


> Z kolei dopasowanie minimalizujące sumę odległości od prostej (w X i
> Y) nie ma uzasadnienia statystycznego.
Zależy od zadania. Jeśli mamy dużo danych, jeśli te dane są dokładne, ale
obarczone losowym-niewielkim szumem, jeśli znamy całym model i jeśli tylko
nie znamy współczynników liniowych - to co można zrobić lepszego, niż
właśnie ułożyć układ równań normalnych i rozwiązać?

Pewnie zarzucisz mi, że powyżej opisałem rzadką sytuację, cóż, masz
rację. Ale ponadto, gdy nie wiemy z czym mamy do czynienia, to na
początek też warto spróbować dobrać liniowe współczynniki metodą
najmniejszych kwadratów. Warto choćby dlatego, że jest w miarę szybka i
daje dobry punkt wyjścia dla dalszych przemyśleń. Więc są przynajmniej
dwie sytuacje w których uzasadnienie użycia jest, choć nie zawsze jest
to uzasadnienie statystyczne.

W pracy Cichosza jest cały rozdział poświęcony 'reprezentacji rozszerzonej',
która zwiększa możliwości 'metody liniowej'. Czasami to daj dobre rezultaty.



> Wprowadzenie wag dla X daje problem nieliniowy.
Nie wiem o jakie wprowadzenie wag chodzi, jest sposób na dodanie
wag, który nie wpływa na utratę liniowości, ale pewnie masz na
myśli coś innego.


> No i można próbować mediany zamiast sumy.
Mediana to jest wartość która dzieli posortowany ciąg na pół. Jeśli
chodzi o to, aby sumę funkcji błędu zastąpić medianą, to... nigdy
nie stosowałem tego w praktyce. Wydaje się ryzykowne, bo zbiór
z małą medianą może mieć bardzo duże maksimum.


Pozdrawiam

do góry

On Mon, 4 Apr 2016 12:46:12 -0700 (PDT), "M.M." <m...@g...com>
wrote:
> nie znamy współczynników liniowych - to co można zrobić lepszego,=
> niż
> właśnie ułożyć układ równań normalnych i rozwiązać?

Marquardt, hessjan, takie tam.

do góry

On Mon, 4 Apr 2016 12:46:12 -0700 (PDT), "M.M." <m...@g...com>
wrote:
> O ile się nie mylę, odporna na transformacje będzie każda metoda, w=
> której
> funkcja błędu jest oparta nie na rzucie pionowym, ale na rzucie
ortogon=
> alnym.

Niekoniecznie... jeżeli dopuścimy transformacje nieliniowe.

do góry

On Mon, 4 Apr 2016 12:46:12 -0700 (PDT), "M.M." <m...@g...com>
wrote:
> najmniejszych kwadratów. Warto choćby dlatego, że jest w miarę szyb=
> ka i
> daje dobry punkt wyjścia dla dalszych przemyśleń. Więc są przynaj=
> mniej

Marquardt jest też szybki, są gotowe implementacje, np. Origin i
AFAIR Gnuplot. W Octave jest fminsearch, też się nada.

do góry

On Monday, April 4, 2016 at 9:55:40 PM UTC+2, slawek wrote:
> On Mon, 4 Apr 2016 12:46:12 -0700 (PDT), "M.M." <m...@g...com>
> wrote:
> > nie znamy współczynników liniowych - to co można zrobić lepszego,=
> > niż
> > właśnie ułożyć układ równań normalnych i rozwiązać?
>
> Marquardt, hessjan, takie tam.

Czyli proponujesz metody iteracyjnego rozwiązywania równań? Nie wiem
jak jest w ogóle. Osobiście lepsze wynik miałem gdy rozwiązywałem
gaussem z pełnym wyborem elementu podstawowego, ale układałem
(iteracyjnie) niepełne równanie, ale wiele razy małe równanie.

Pozdrawiam

do góry

On Monday, April 4, 2016 at 9:59:53 PM UTC+2, slawek wrote:
> On Mon, 4 Apr 2016 12:46:12 -0700 (PDT), "M.M." <m...@g...com>
> wrote:
> > O ile się nie mylę, odporna na transformacje będzie każda metoda, w=
> > której
> > funkcja błędu jest oparta nie na rzucie pionowym, ale na rzucie
> ortogon=
> > alnym.
>
> Niekoniecznie... jeżeli dopuścimy transformacje nieliniowe.

Hmmm... ale czy przy transformacjach nieliniowych jakakolwiek metoda
zawsze równie dobrze sobie poradzi?

Pozdrawiam

do góry

On Mon, 04 Apr 2016 18:54:19 +0200, slawek wrote:

> On Mon, 4 Apr 2016 04:57:56 -0700 (PDT), "M.M." <m...@g...com>
> wrote:
>> ( Sum_1^N abs( uzyskany_i - pożądany_i ) ^ 0.5 ) / N
>
> Zwróć uwagę, że dobra metoda powinna być niezmiennicza wobec
> transformacji. Tzn. najlepsze dopasowanie nie może się zmieniać przy
> zamianie osi, przy obrocie itd. Zwykła regresja tego nie potrafi, bo
> wagi są tylko w y.

Zalezy w jakim problemie, jezeli rozwiazujesz problem predykcji, kiedy X
jest znane a Y losowe, to nie ma sensu wymagac niezmienniczosci wzgledem
transformacji, bo X i Y nie sa rownowazne.

RW

do góry