eGospodarka.pl
eGospodarka.pl poleca

eGospodarka.plGrupypl.comp.programmingJak dobrze uwarunkować metodę najmniejszych kwadratówRe: Jak dobrze uwarunkować metodę najmniejszych kwadratów
  • Data: 2016-04-04 21:46:12
    Temat: Re: Jak dobrze uwarunkować metodę najmniejszych kwadratów
    Od: "M.M." <m...@g...com> szukaj wiadomości tego autora
    [ pokaż wszystkie nagłówki ]

    On Monday, April 4, 2016 at 6:54:22 PM UTC+2, slawek wrote:
    > On Mon, 4 Apr 2016 04:57:56 -0700 (PDT), "M.M." <m...@g...com>
    > wrote:
    > > ( Sum_1^N abs( uzyskany_i - pożądany_i ) ^ 0.5 ) / N
    >
    > Zwróć uwagę, że dobra metoda powinna być niezmiennicza wobec
    > transformacji. Tzn. najlepsze dopasowanie nie może się zmieniać przy
    > zamianie osi, przy obrocie itd. Zwykła regresja tego nie potrafi, bo
    > wagi są tylko w y.

    O ile się nie mylę, odporna na transformacje będzie każda metoda, w której
    funkcja błędu jest oparta nie na rzucie pionowym, ale na rzucie ortogonalnym.
    Niestety rzut ortogonalny wymaga iterowania. Czyli znowu lepsza metoda
    kosztem większego nakładu obliczeniowego. Rzut ortogonalny również/przynajmniej
    nie ma minimów lokalnych, więc metoda w miarę wdzięczna.


    > Z kolei dopasowanie minimalizujące sumę odległości od prostej (w X i
    > Y) nie ma uzasadnienia statystycznego.
    Zależy od zadania. Jeśli mamy dużo danych, jeśli te dane są dokładne, ale
    obarczone losowym-niewielkim szumem, jeśli znamy całym model i jeśli tylko
    nie znamy współczynników liniowych - to co można zrobić lepszego, niż
    właśnie ułożyć układ równań normalnych i rozwiązać?

    Pewnie zarzucisz mi, że powyżej opisałem rzadką sytuację, cóż, masz
    rację. Ale ponadto, gdy nie wiemy z czym mamy do czynienia, to na
    początek też warto spróbować dobrać liniowe współczynniki metodą
    najmniejszych kwadratów. Warto choćby dlatego, że jest w miarę szybka i
    daje dobry punkt wyjścia dla dalszych przemyśleń. Więc są przynajmniej
    dwie sytuacje w których uzasadnienie użycia jest, choć nie zawsze jest
    to uzasadnienie statystyczne.

    W pracy Cichosza jest cały rozdział poświęcony 'reprezentacji rozszerzonej',
    która zwiększa możliwości 'metody liniowej'. Czasami to daj dobre rezultaty.



    > Wprowadzenie wag dla X daje problem nieliniowy.
    Nie wiem o jakie wprowadzenie wag chodzi, jest sposób na dodanie
    wag, który nie wpływa na utratę liniowości, ale pewnie masz na
    myśli coś innego.


    > No i można próbować mediany zamiast sumy.
    Mediana to jest wartość która dzieli posortowany ciąg na pół. Jeśli
    chodzi o to, aby sumę funkcji błędu zastąpić medianą, to... nigdy
    nie stosowałem tego w praktyce. Wydaje się ryzykowne, bo zbiór
    z małą medianą może mieć bardzo duże maksimum.


    Pozdrawiam

Podziel się

Poleć ten post znajomemu poleć

Wydrukuj ten post drukuj


Następne wpisy z tego wątku

Najnowsze wątki z tej grupy


Najnowsze wątki

Szukaj w grupach

Eksperci egospodarka.pl

1 1 1

Wpisz nazwę miasta, dla którego chcesz znaleźć jednostkę ZUS.

Wzory dokumentów

Bezpłatne wzory dokumentów i formularzy.
Wyszukaj i pobierz za darmo: