Borneq pisze:
> Gdy odejmiemy od x-ów wartość 42000 a od y-ów 100 wtedy te liczby się zmniejszą.
Jest to
> jeden ze sposobów; jak to można uogólnić, np. dla przypadku gdy 99% punków jest
skupionych
> a jeden (np. pierwszy) gdzieś daleko i nie opłaca się odejmować według tego punktu
ale
> według 99% pozostałych?

To wtedy broń boże nie należy obliczać regresję liniowa bo wynik będzie zależał od
tego
jednego ( kilku) a te pozostałe będą statystami

--
peter

do góry

Dnia Fri, 1 Apr 2016 04:30:30 +0200, Borneq napisał(a):
> Rysowałem punkty na płaszczyźnie i chciałem do tego dopasować prostą.
> Metodą najmniejszych kwadratów (np.
> http://www.algorytm.org/procedury-numeryczne/metoda-
najmniejszych-kwadratow.html)
> Współczynnik a był w ogóle nie przystający do danych. Nie wiedziałem
> dlaczego, szukałem błędu a wszystko się zgadzało.

Pierwsza sprawa - metoda zawsze znajdzie jakas prosta, nawet jesli
dane nic z prosta wspolnego nie maja.
Trzeba wiedziec, ze prosta powinna wyjsc, lub sprawdzac blad.

> W końcu odkryłem że miałem float a nie double. Problemem było to , że
> odejmowaliśmy dwie bliskie sobie duże liczby a wynik był małą liczbą.
> Czy można zmienić wzorki tak, by zadanie było lepiej uwarunkowane?

Ale az tak waskie przedzialy masz ?
Moze je najpierw przeskalowac, srednia np odjac.

J.

do góry

On Saturday, April 2, 2016 at 11:50:15 PM UTC+2, J.F. wrote:
> Dnia Fri, 1 Apr 2016 04:30:30 +0200, Borneq napisał(a):
> > Rysowałem punkty na płaszczyźnie i chciałem do tego dopasować prostą.
> > Metodą najmniejszych kwadratów (np.
> > http://www.algorytm.org/procedury-numeryczne/metoda-
najmniejszych-kwadratow.html)
> > Współczynnik a był w ogóle nie przystający do danych. Nie wiedziałem
> > dlaczego, szukałem błędu a wszystko się zgadzało.
>
> Pierwsza sprawa - metoda zawsze znajdzie jakas prosta, nawet jesli
> dane nic z prosta wspolnego nie maja.
Coś mi się zdaje, że istnieją dane, dla których metoda
wywali się. Trzeba metodę zabezpieczyć przed taką sytuacją.

Pozdrawiam

do góry

On Fri, 1 Apr 2016 04:30:30 +0200, Borneq <b...@a...hidden.pl>
wrote:
> Czy można zmienić wzorki tak, by zadanie było lepiej uwarunkowane?

Można. Ale problem jest, że regresja liniowa jest, gdy liczyć
poprawnie, złym rozwiązaniem. Poszukaj sobie robust regression np. w
z Numerical Recipes.

Ogólnie problem jest ciekawy. Generalnie pomaga przeskalowanie. I
używanie double.

do góry

On Fri, 1 Apr 2016 12:51:47 +0200, Borneq <b...@a...hidden.pl>
wrote:
> Ja myślałem o tym, by od współrzędnych x (może wystarczą same x)
odjąć
> średnią x. Tu niestety będziemy mieli dwa przebiegi, ale dość mała

Sensowne. Zadziała.

"Jednoprzebiegowe" z reguły są do bani.

do góry

On Sunday, April 3, 2016 at 8:36:51 PM UTC+2, slawek wrote:
> On Fri, 1 Apr 2016 12:51:47 +0200, Borneq <b...@a...hidden.pl>
> wrote:
> > Ja myślałem o tym, by od współrzędnych x (może wystarczą same x)
> odjąć
> > średnią x. Tu niestety będziemy mieli dwa przebiegi, ale dość mała
>
> Sensowne. Zadziała.
>
> "Jednoprzebiegowe" z reguły są do bani.

Dlaczego jednoprzebiegowe są do bani?
Pozdrawiam

do góry

On Sun, 3 Apr 2016 12:17:32 -0700 (PDT), "M.M." <m...@g...com>
wrote:
> Dlaczego jednoprzebiegowe są do bani?

Bo są do bani.

Nie chce mi się, a mam jakieś 4 kg literatury na temat, napisany na
Meritum program i na wpół napisany artykuł. Ok. Program na Meritum
chyba gdzieś przepadł, demagnetyzacja i takie tam.

Ogólnie: aby algorytm był ok, to trzeba przeskalować dane wejściowe.
A tego nie da się zrobić przed wyczytaniem danych i przeliczeniem
tego i owego. Klasyczny problem demona Maxwella: aby działać trzeba
pamiętać.

Do tego cała koncepcja regresji, jak i tzw. "metody naj. kwadratów"
jest bardzo uboga. Dużo lepiej jest po prostu porządnie używać metody
największej wiarygodności.

Zwykła regresja to stan sprzed około 1970. Zasadnicza wada? Jeden
pitolniety punkt robi wiosnę romantyzmu i masz wtedy linię
ortogonalną do tego co powinno być. Robust regression jest nieco
lepsza. Jest jeszcze koncepcja misfit'ów.

Co ciekawe: lepsze metody są naprawdę lepsze, np. pozwalają
zmniejszyć liczbę odwiertów (jeden kosztuje milion USD).

do góry

On Monday, April 4, 2016 at 12:01:19 AM UTC+2, slawek wrote:
> On Sun, 3 Apr 2016 12:17:32 -0700 (PDT), "M.M." <m...@g...com>
> wrote:
> > Dlaczego jednoprzebiegowe są do bani?
>
> Bo są do bani.
>
> Nie chce mi się, a mam jakieś 4 kg literatury na temat, napisany na
> Meritum program i na wpół napisany artykuł. Ok. Program na Meritum
> chyba gdzieś przepadł, demagnetyzacja i takie tam.
Ok. Ja swoje jeszcze mam, ale to nic wnosi.




> Ogólnie: aby algorytm był ok, to trzeba przeskalować dane wejściowe.
Wszystko zależy od danych. W tych problemach z jakimi ja się spotykałem,
rzadko trzeba było skalować dane. Żeby nie było: rozmawiamy o dopasowaniu
(dwóch lub więcej) współczynników liniowych.


> A tego nie da się zrobić przed wyczytaniem danych i przeliczeniem
> tego i owego. Klasyczny problem demona Maxwella: aby działać trzeba
> pamiętać.
No tak, tutaj muszę się zgodzić, do przeskalowania są potrzebne
dodatkowe przebiegi. Gdy pisałem że jednoprzebiegowa, to skalowania
nie zaliczyłem do elementów metody o której rozmawiamy, może mój błąd,
może nie - nieważne.


> Do tego cała koncepcja regresji, jak i tzw. "metody naj. kwadratów"
> jest bardzo uboga. Dużo lepiej jest po prostu porządnie używać metody
> największej wiarygodności.
Dla mnie regresja oznacza próbę dopasowania jednej funkcji do drugiej.
W regresji jednostajnej po prostu inne kryterium obieramy sobie do
oceny niż w regresji najmniejszych kwadratów. Co to jest metoda
największej wiarygodności - nie wiem, może jest tym samym co
jednostajna?


> Zwykła regresja to stan sprzed około 1970.
Tak bym nie argumentował, niektóre algorytmy sprzed 2tys lat mają
się nadal dobrze. Dopasowanie współczynników liniowych z błędem
średniokwadratowym ma szereg zalet.


> Zasadnicza wada? Jeden
> pitolniety punkt robi wiosnę romantyzmu i masz wtedy linię
> ortogonalną do tego co powinno być.
Można zastosować inną funkcję błędu, np pierwiastek drugiego stopnia:
( Sum_1^N | uzyskany_i - pożądany_i ) ^ 0.5 ) / N
Lepiej omija duże odchylenia, ale wymaga iterowania i pewnie ma minima
lokalne.


> Robust regression jest nieco
> lepsza. Jest jeszcze koncepcja misfit'ów.
Nie znam, a może znam, ale nie wiem że te metody tak się nazywają.


> Co ciekawe: lepsze metody są naprawdę lepsze, np. pozwalają
> zmniejszyć liczbę odwiertów (jeden kosztuje milion USD).

Dlatego zadałem na początku (mniej/więcej) takie pytanie: do
czego to jest potrzebne? Nikt nie napisał, że do odwiertów :D

Pozdrawiam

do góry

On Monday, April 4, 2016 at 1:42:22 PM UTC+2, M.M. wrote:
Errata
>( Sum_1^N | uzyskany_i - pożądany_i ) ^ 0.5 ) / N
( Sum_1^N | uzyskany_i - pożądany_i | ^ 0.5 ) / N
( Sum_1^N abs( uzyskany_i - pożądany_i ) ^ 0.5 ) / N

do góry

On Mon, 4 Apr 2016 04:42:21 -0700 (PDT), "M.M." <m...@g...com>
wrote:
> oceny niż w regresji najmniejszych kwadratów. Co to jest metoda
> największej wiarygodności


Po prostu tak odbierasz co trzeba aby było maksymalnie prawdopodobne.
W szczególnym przypadku daje to najmniejsze kwadraty. Ale ładnie
obsługuje rozkłady inne niż Gaussa.

do góry