Użytkownik "M.M." <m...@g...pl> napisał w wiadomości grup
dyskusyjnych:jgioan$lg3$...@i...gazeta.pl...
> Regresja liniowa to w ogole wdzieczna metoda. Odznacza sie mala
> zlozonoscia i jednoznacznosc wyniku. Mozna miec caly dysk zawalony
> danymi i bez problemu znalezc 2-3tys liniowych parametrow.

Problem nie jest w tym, że można. Problem jest w tym, czy to co się znalazło
ma jakikolwiek sens.

Dla przykładu podaje się zwykle korelację pomiędzy liczbą bocianów a liczbą
urodzeń. Czyli dzieci przynosi bocian. Bingo!

Podstawą jest dobry model (wymaga znajomości danej gałęzi wiedzy). Potem
można dopasowywać, szukać współczynników, stosować metody. Ale wydaje mi
się, że 90% "badaczy" nie ma pojęcia, jak taki model mógłby wyglądać. Stąd
próbują z wynikami "coś zrobić". Wybierają regresję liniową, bo taka opcja
jest w programie którym rysowali dane (często jest to Excel, ambitniejsi
robią to w Matlabie).

Sens urywa się już przy kilkunastu parametrach. Przy 2000 parametrach układ
musiałby mieć liczbę stopni swobody liczoną w milionach, aby uzasadnić że
parametrów ma być właśnie 2000 a nie 1999 . Old-gold Minuit miał hardcoded
150, ale i tak było to na wyrost. Wszystko co ma więcej niż 15 parametrów
wygląda podejrzanie gdy macierz kowariancji jest nietrywialna. Nawet "cały
dysk" (czyli 1TB, czyli 10^12 / 8 fp, czyli około 10 miliardów rekordów,
np. po jednym na każdego człowieka) nie tłumaczy istnienia występujących w
modelu 2000 liniowych parametrów bez kolejnych 200 000 parametrów
nieliniowych.