Użytkownik "Roman W" napisał w wiadomości grup
dyskusyjnych:30851878.2737.1328362702866.JavaMail.ge
o-discussion-forums@yqbc11...

>Regresja liniowa nie wymaga, zeby dane ukladaly sie w wykres funkcji
>jednowartosciowej. Regresja liniowa modeluje problem jako model
>deterministyczny + czynniki losowe. Obecnosc w >zbiorze danych par (X,Y1),
>(X,Y2) itd. oznacza, ze masz kilka realizacji czynnika losowego dla tej
>samej wartosci X. To jest OK.

Mylisz "wykres funkcji" z "funkcją" (to nie jest to samo), piszesz "czynnik
losowy" (choć prawidłowe określenie to "zmienna losowa"), zakładasz iż x to
zmienna niezależna (a przecież nie musi tak być i w praktyce najczęściej nie
jest).

>W podanym przez Ciebie przykladzie problem nie polega na tym, ze dla
>jednego X masz wiele Y, tylko ze masz tylko jeden X. Jezeli wprowadzisz
>zbior danych:

Podany przykład jest tzw. "z życia wziętym". Mamy dane, te dane są "skądś" -
np. z bolometru nadprzewodzącego, ankiety na temat jakości sera, tachometru,
rachunków bankowych. Nie ma gwarancji, że x jest znane dokładnie, nie ma
gwarancji że x lub y się nie będą powtarzać. Nie ma gwarancji, a priori, że
nie będzie serii (0, 1), (0, 2), (0, 3), a nie jest to w żaden sposób gorsza
seria niż (1, 0), (2, 0), (3, 0) - wystarczy tylko np. zamiast spisywać
napięcie i natężenie - spisywać natężenie i napięcie (czyli zrobić taki
swap).

Dobry algorytm poradzi sobie - da jakieś oszacowanie na współczynnik
kierunkowy i wyraz wolny, da jakiś współczynnik korelacji, odchylenia
standardowe... choćby miały one być po prostu nawet i nieskończone (INF jest
w standardzie IEEE). Zły algorytm - wyłoży się, da złą odpowiedź do niczego
nie pasującą (np. dla serii (0, 1), (0, 2), ... będzie to współczynnik
kierunkowy 0.23423), w najlepszym przypadku zgłosi błąd "niedasie".

>Natomiast taki zbior danych
>{ (0,1), (0,1.2), (1,2) }
>jest poprawny.

Po pierwsze, nie ma danych "poprawnych" i "niepoprawnych" - są tylko
prawdziwe i sfałszowane. Elementarna etyka badań naukowych wymaga
przyjmowanie i analizę wszystkich wyników, selektywne "uznaniowe"
traktowanie jest to tzw. "wishfull thinking" i jest bardzo nieprofesjonalne.
Dlatego musisz być gotowy na zupełnie cudaczne ciągi liczb.

Po drugie, pisałem już o EOV, ale wydaje się, że zlekceważyłeś to i nie
odrobiłeś "zadania domowego" - nie wiesz nadal co to EOV. Wikipedii masz
np.: http://en.wikipedia.org/wiki/Errors-in-variables_mod
els . Vic w tym,
że problem "regresji liniowej" robi się natychmiast nieliniowy... prosty (i
nie całkiem poprawny) algorytm znajdziesz np. u Teukolskiego et al. w
Numerical Recipes.

do góry

W dniu 2012-02-09 14:00, slawek pisze:

> wystarczy tylko np. zamiast spisywać napięcie i natężenie - spisywać
> natężenie i napięcie (czyli zrobić taki swap).

Tak, wreszcie zrozumiałeś, o to chodziło.
To operator ma zdecydować, co jest zmienna
objaśniającą, a co objaśnianą.

pzdr
bartekltg

do góry

W dniu 2012-02-09 14:46, bartekltg pisze:
> W dniu 2012-02-09 14:00, slawek pisze:
>
>> wystarczy tylko np. zamiast spisywać napięcie i natężenie - spisywać
>> natężenie i napięcie (czyli zrobić taki swap).
>
> Tak, wreszcie zrozumiałeś, o to chodziło.
> To operator ma zdecydować, co jest zmienna
> objaśniającą, a co objaśnianą.

A, być może komuś umknęła jedna kwestia.

Mamy pary 'punktów pomiarowych'.

Regresja liniowa Y od X i regresja po zamianie
zmiennych miejscami (X od Y) da w wyniku
_różne_ proste (inaczej przechodzące obok
punktów, inne 'rysunki').

Dowolna liniowa zamiana współrzędnych również
(np okręcenie układu współrzędnych o 45stopni).

I będzie to prosta inna niż przy zagadnieniu
'zminimalizuj kwadraty odległości na płaszczyźnie
od punktów (X,Y)' - to nie jest nawet reg. liniowa.


BTW. Jeśli zmienna X jest równie mocno zaburzana jak Y,
problem nie jest taki prosty (zwłaszcza gdy zaburzenie
nie jest stałe). Ale najczęściej zwykłe metody wystarczą.


pzdr
bartekltg

do góry

On Thursday, February 9, 2012 1:00:41 PM UTC, slawek wrote:
> Użytkownik "Roman W" napisał w wiadomości grup
> dyskusyjnych:30851878.2737.1328362702866.JavaMail.ge
o-discussion-forums@yqbc11...
>
> >Regresja liniowa nie wymaga, zeby dane ukladaly sie w wykres funkcji
> >jednowartosciowej. Regresja liniowa modeluje problem jako model
> >deterministyczny + czynniki losowe. Obecnosc w >zbiorze danych par (X,Y1),
> >(X,Y2) itd. oznacza, ze masz kilka realizacji czynnika losowego dla tej
> >samej wartosci X. To jest OK.
>
> Mylisz "wykres funkcji" z "funkcją" (to nie jest to samo),

Nie myle. Dane to pary (X,Y). Wykres funkcji to zbior par (X,f(X)). Teraz rozumiesz?

> piszesz "czynnik
> losowy" (choć prawidłowe określenie to "zmienna losowa"),

To synonimy w mowie potocznej. Daj se spokoj z ta analnoscia, bo to nudne.

> zakładasz iż x to
> zmienna niezależna (a przecież nie musi tak być i w praktyce najczęściej nie
> jest).

Takie jest zalozenie w regresji liniowej.

>
> >W podanym przez Ciebie przykladzie problem nie polega na tym, ze dla
> >jednego X masz wiele Y, tylko ze masz tylko jeden X. Jezeli wprowadzisz
> >zbior danych:
>
> Podany przykład jest tzw. "z życia wziętym". Mamy dane, te dane są "skądś" -
> np. z bolometru nadprzewodzącego, ankiety na temat jakości sera, tachometru,
> rachunków bankowych. Nie ma gwarancji, że x jest znane dokładnie, nie ma
> gwarancji że x lub y się nie będą powtarzać. Nie ma gwarancji, a priori, że
> nie będzie serii (0, 1), (0, 2), (0, 3), a nie jest to w żaden sposób gorsza
> seria niż (1, 0), (2, 0), (3, 0) - wystarczy tylko np. zamiast spisywać
> napięcie i natężenie - spisywać natężenie i napięcie (czyli zrobić taki
> swap).

Regresja liniowa dziala przy zalozeniu, ze X znasz dokladnie.

>
> Dobry algorytm poradzi sobie - da jakieś oszacowanie na współczynnik
> kierunkowy i wyraz wolny, da jakiś współczynnik korelacji, odchylenia
> standardowe... choćby miały one być po prostu nawet i nieskończone (INF jest
> w standardzie IEEE). Zły algorytm - wyłoży się, da złą odpowiedź do niczego
> nie pasującą (np. dla serii (0, 1), (0, 2), ... będzie to współczynnik
> kierunkowy 0.23423), w najlepszym przypadku zgłosi błąd "niedasie".

No, a idealny to jeszcze pranie zrobi i upiecze szarlotke.

>
> >Natomiast taki zbior danych
> >{ (0,1), (0,1.2), (1,2) }
> >jest poprawny.
>
> Po pierwsze, nie ma danych "poprawnych" i "niepoprawnych" - są tylko
> prawdziwe i sfałszowane.

Malo wiesz o swiecie.

> Elementarna etyka badań naukowych wymaga
> przyjmowanie i analizę wszystkich wyników, selektywne "uznaniowe"
> traktowanie jest to tzw. "wishfull thinking" i jest bardzo nieprofesjonalne.

Bzdura. Nieumiejetnosc odroznienia danych sensownych od bzdur (bo np. komus sie
woltomierz skrzywil) dyskwalifikuje badacza.

> Dlatego musisz być gotowy na zupełnie cudaczne ciągi liczb.

Moze kiedy badam UFO albo ksiegowosc w Lehman Brothels.

RW

do góry

Użytkownik "bartekltg" <b...@g...com> napisał w wiadomości grup
dyskusyjnych:jh0ing$jq1$...@n...news.atman.pl...
> Tak, wreszcie zrozumiałeś, o to chodziło.
> To operator ma zdecydować, co jest zmienna
> objaśniającą, a co objaśnianą.

Zwróć uwagę: możesz, co jest matematycznie poprawne, szukać korelacji
pomiędzy liczbą bocianów a dzietnością ludzi. Co według ciebie jest
"objaśniające", a co "objaśniane"?

lol

do góry

Użytkownik "bartekltg" <b...@g...com> napisał w wiadomości grup
dyskusyjnych:jh0jk7$kni$...@n...news.atman.pl...
> A, być może komuś umknęła jedna kwestia.

Nie umknęła, tym właśnie zajmuje się EOV.

> Mamy pary 'punktów pomiarowych'.
>
> Regresja liniowa Y od X i regresja po zamianie
> zmiennych miejscami (X od Y) da w wyniku
> _różne_ proste (inaczej przechodzące obok
> punktów, inne 'rysunki').

Tzn. taki problem będzie z OLS i nie tylko.

Jak ładnie zdefiniować (elipsoidy etc.), to dobry algorytm EOV powinien
zawsze dawać tę samą linię prostą.

> Dowolna liniowa zamiana współrzędnych również
> (np okręcenie układu współrzędnych o 45stopni).

Nie wystarczy - np. niektóre przekształcenia afiniczne nie wystarczą. Np.
zmiana skali na osi x i y jednocześnie _jest_ transformacją liniową, a
niczego (?) nie zmieni.

Z drugiej strony, pomnożenie y-ków przez zero też jest transformacją
liniową... i chyba się zgodzimy, że POWINNA coś zmienić.

> BTW. Jeśli zmienna X jest równie mocno zaburzana jak Y,
> problem nie jest taki prosty (zwłaszcza gdy zaburzenie
> nie jest stałe). Ale najczęściej zwykłe metody wystarczą.

Najczęściej nie wystarczają, ale EOV jest trochę za trudne dla dzieciaków,
więc nikt się za to nie bierze jak nie musi. Tzn. jeżeli go nie zmusić.

Regresję liniową można policzyć bez komputera, komputerowo też trudno nie
jest. EOV jest trudne w tym sensie, ze w Reciapsach jest błędna
implementacja, więc nawet "miszcze" potrafią się o to rozbić. Pamiętam
artykuł z Measurments in Science & Eng., w którym twórcy algorytmu pojechali
na... liczeniu pochodnych bez wcześniejszego sprawdzenia czy one, te
pochodne, w ogóle istnieją (a nie istniały!) Pół roku później była errata.

do góry

W dniu 2012-02-09 21:51, slawek pisze:
>
> Użytkownik "bartekltg" <b...@g...com> napisał w wiadomości grup
> dyskusyjnych:jh0ing$jq1$...@n...news.atman.pl...
>> Tak, wreszcie zrozumiałeś, o to chodziło.
>> To operator ma zdecydować, co jest zmienna
>> objaśniającą, a co objaśnianą.
>
> Zwróć uwagę: możesz, co jest matematycznie poprawne, szukać korelacji
> pomiędzy liczbą bocianów a dzietnością ludzi. Co według ciebie jest
> "objaśniające", a co "objaśniane"?

:-)

1. To, co przyjmę. Wynik będzie od tego zależał! (patrz kolejny post).

2. Licząc korelację (np współczynnik korelacji Pearsona, ale i
poważniejsze miary korelacji/'korelacji') nic nie wybierasz.
Ten współczynnik jest symetryczny ze względu na zamianę
miejscami bocianów i dzieci!
NIE badasz korelacji za pomocą regresji liniowej.

> lol

'Lolalibyśmy' bez przerwy, gdyby to nie było smutne.

bartekltg

do góry

Użytkownik "Roman W" <b...@g...pl> napisał w wiadomości grup
dyskusyjnych:9760054.450.1328804253970.JavaMail.geo-
discussion-forums@vbzc20...
> Regresja liniowa dziala przy zalozeniu, ze X znasz dokladnie.

Aha, to niby skąd ja mam je znać? lol

> No, a idealny to jeszcze pranie zrobi i upiecze szarlotke.

Ktoś jednak musi pisać te programy dla pralek i piecyków.

> Bzdura. Nieumiejetnosc odroznienia danych sensownych od bzdur (bo np.
> komus sie woltomierz skrzywil) dyskwalifikuje badacza.

I dlatego właśnie tzw. polska nauka to grajdoł: bo jak się komuś "woltomierz
skrzywił" to się go naprawia - a nie wywala wyniki jakie niby nie pasują do
założeń. (Czyli te, których eksperymentator nie rozumie.)

Dla mnie jest to kompletnie niepojęte, ale w są jeszcze tu i owdzie
miłośnicy cold fussion a'la Fleshman i Pons - potrafią być bardzo selektywni
co do prezentowanych danych. I nieustannie "krzywią im się woltomierze" -
uznają tylko te wyniki, które są właściwe, a właściwe są tylko te dobre, a
dobre to są takie jakie sami przewidywali.

> Moze kiedy badam UFO albo ksiegowosc w Lehman Brothels.

Kiedy ty coś badasz, to masz jakieś pojęcie co i np. jaki będzie zakres
danych (wystarczą double czy też nie?)

Kiedy piszesz program jako profesjonalista, to nigdy nie wiesz, kto i do
czego ten program zastosuje. I powinieneś być na tyle uprzejmy wobec
przyszłych ewentualnych użytkowników, aby nie wywalał się ten program na
byle jakich danych wprowadzonych z palca dla zabawy. A jeżeli już, to niech
przynajmniej rzuca wyjątek a nie robi crash to desktop w biezdurno.

do góry

Użytkownik "bartekltg" <b...@g...com> napisał w wiadomości grup
dyskusyjnych:jh1cj4$got$...@n...news.atman.pl...
> 2. Licząc korelację (np współczynnik korelacji Pearsona, ale i
> poważniejsze miary korelacji/'korelacji') nic nie wybierasz.

Tzn. jakie?

> Ten współczynnik jest symetryczny ze względu na zamianę
> miejscami bocianów i dzieci!

Wiesz co, może lepiej nie mów tego żonie: że chcesz zamienić dziecko na
bociana.

Więc co: liczba bocianów zależy od liczby dzieci, czy liczba dzieci zależy
od liczby bocianów?

Ale przecież nie są niezależne, bo korelacja jest!

lol

do góry

W dniu 2012-02-09 22:27, slawek pisze:
>
> Użytkownik "bartekltg" <b...@g...com> napisał w wiadomości grup
> dyskusyjnych:jh1cj4$got$...@n...news.atman.pl...
>> 2. Licząc korelację (np współczynnik korelacji Pearsona, ale i
>> poważniejsze miary korelacji/'korelacji') nic nie wybierasz.
>
> Tzn. jakie?

Np korelacje rangowe. Ale to poza tematem.


>> Ten współczynnik jest symetryczny ze względu na zamianę
>> miejscami bocianów i dzieci!
>
> Wiesz co, może lepiej nie mów tego żonie: że chcesz zamienić dziecko na
> bociana.

> Więc co: liczba bocianów zależy od liczby dzieci, czy liczba dzieci
> zależy od liczby bocianów?

Bo korelacja nie stwierdza kierunku z definicji!
korelacja pożarów do liczby strażaków i liczy strażaków
do liczby pożarów to ta sama wielkość.

Dalej nieudolnie trollujesz. Baw się sam

bartekltg

do góry