On 09.06.2012 06:15, M.M. wrote:
> Michoo<m...@v...pl> napisał(a):
>
>> On 08.06.2012 21:25, M.M. wrote:
>>> Słyszałem ostatnio o studencie który zgłosił się do kogoś po pomoc w
>>> związku z sieciami neuronowymi.
>> [...]
>>> Otóż wykładowca twierdził że sztuczna
>>> sieć neuronowa nie jest funkcją.
>> W przypadku samoorganizujących, albo rekurencyjnych sieci prezentowanie
>> ich jako funkcje może być dość koszmarne[]
> Czy ja wiem czy takie koszmarne? Mam funkcję opisaną na wejściu i
> architekturze. Jeśli sieć ma wewnętrzną pamięć jest trochę trudniej.
> Są dwie funkcje, jedna opisuje wyjście w zależności od
> ( architektury x stanu wewnętrznego x wejścia)
> druga stan następny w zależności:
> ( stanu poprzedniego x wejścia x architektury ). Rzekłbym wygodne a nie
> koszmarne.
Taką reprezentację stosuje się przy obliczeniach, ale IMO słabo z niej
widać czym ta sieć jest, albo co robi - to jest po prostu matematyczne
zapisanie struktury sieci. Technicznie to komputer możemy przedstawić
jako funkcję, ale jest to niezbyt wygodne właściwie w czymkolwiek.

>> Rozumiem, że chodziło o problem klasyfikacji. Możesz padać jakieś
>> bliższe szczegóły? Bo na razie jest to bardzo niejasne - jakie było
>> wejście, jakie wyjście, jaka sieć miała być użyta, etc.
> Upraszczając, chodziło o sieć realizująca taką 'funkcję':
Uproszczony opis to ja zrozumiałem już wcześniej. Chodziło mi o
nieuproszczony, bo może były jakieś niuanse.

> f(3) = 5
> f(3) = 8
> Gdy raz podam trójkę to sieć ma podać piątkę, a drugi raz ósemkę i ma
> chyba sama odgadnąć o jakie wyjście mi chodzi.
>
Dla niektórych sieci możliwa jest sekwencja ...;f(3)=3;...;f(3)=8;....;


>> Jak to z metaheurystykami - nie ma co oczekiwać cudów, ale z drugiej
>> strony to co potrafią zrobić w swojej dziedzinie naprawdę wprawia w
>> zdumienie - w ramach projektu zrobiłem prosty OCR radzący sobie z
>> zeskanowanymi cyframi - sieć mająca zaledwie 13 neuronów warstwy ukrytej
>> rozpoznawała je z ponad 80% dokładnością.
> Mnie tak rozpoznawała odciski palców. Odcisk tak mocno zaszumiony że trudno
> było w ogóle odgadnąć że to odcisk. A sieć nie miała problemów. Jednak
> wystarczyło przesunięcie nawet idealnego odciska o 2-3 piksele i skuteczność
> spadała w okolice losowej.
Prawdopodobnie za dużo neuronów i sieć się wyuczyła na pamięć zamiast
aproksymować albo zły dobór danych uczących.

--
Pozdrawiam
Michoo