On 26 Lip, 15:21, "slawek" <s...@h...pl> wrote:
> Użytkownik "Mariusz Marszałkowski" <m...@g...com> napisał w wiadomości
> grup
> dyskusyjnych:c83c0c55-71ab-44d6-a1c6-f372ebb3f...@j8
g2000yqd.googlegroups.com...
>
> > Ilość iteracji się zwiększa, bo pochodna bywa naliczana niedokładnie.
>
> Numeryczna aproksymacja gradientu z wartości funkcji niekoniecznie jest
> mniej wartościowa w porównaniu z gradientem wydzierganym analitycznie.
>
> > Czas
> > jednej iteracji się wydłuża, bo jak optymalizujesz 100 parametrów, to
> > musisz wywołać 100 razy optymalizowaną funkcję aby ustalić
> > pochodną dla każdego parametru.
>
> Bynajmniej. Ulegasz błędnemu mitowi wyższości "ścisłych" rozwiązań.
>
> Analitycznie liczysz 100 pochodnych cząstkowych, masz średnio dwa razy
> dłuższy (liczba operacji) wzór na każdą w porównaniu z samą funkcją. I to
> jak dobrze będzie, bo może być nawet znacznie bardziej złożony, policz np.
> f'(x) = (d/dx) (sin(x)sin(a x)sin(b x)sin(c sin(p sin(q x)))
Zależy jaka funkcja. W sieciach neuronowych liczę 1000 pochodnych
cząstkowych
tak samo szybko jak 1-2 razy funkcję celu.

> Numerycznie liczysz funkcję 1 raz i jeszcze 100 razy, razem 101 razy. Ale
> masz z reguły dużo prostsze wzory niż na pochodne cząstkowe. Więc ten 1%
> narzutu nie znaczy.
Nie wiem jak się zdarza częściej, chyba częściej dobrze
zoptymalizowany wzór
na pochodne jest prostszy.

Pozdrawiam