On Monday, November 18, 2019 at 7:42:29 PM UTC+1, Borneq wrote:
> W dniu 18.11.2019 o 16:06, M.M. pisze:
> > iiii jjjj światło kkkk llll". Czasami sieć dla sztucznych słów wypluje
> > słowa typu a, the, albo jakieś idiomy. Innym razem sieć wypluje slowo puste, co
> > będzie znaczyło, że tego slowa się nie tłumaczy. Potem inny zestaw sieci zadba o
>
> A czy zamiast neuronów nie można użyć jakiegoś algorytmu, np. liczącego
> prawdopodobieństwa Bayesa?

Można, ale z materiałów wynika, że tak się robiło dekadę temu. Poza tym można
zastosować rozwiązania łączone, co by szkodziło, żeby do sieci podawać
wyjścia z drzew decyzyjnych czy klasyfikatora bajesya?


> Trochę mam niezbyt dużo zaufania do sposobu w którym to nie my określamy
> działania, tylko sieć sama się uczy w niewiadomy sposób,

Sztuczne sieci neuronowe są w pewnym sensie bardzo wygodne. Mamy
szereg parametrów: ilość wag, kary za duże wagi, przedziały w których wagi
muszą się zmieścić, kary za duże wyjścia. Zwiększając te parametry, dajemy
większą swobodę sieci. Po uczeniu sprawdzamy na zbiorze testowym czy nie
daliśmy za dużo swobody. To w pewnym sensie bardzo łatwe i mechaniczne
podejście. Gdzieś w międzyczasie dobieramy ilość połączeń i sposób połączenia.
I tak w kółko aż do skutku. Oczywiście można się tą łatwością i wygodą
zachłysnąć...
sieci


> za to trzeba ja długo uczyć na wielkiej ilości danych.

To samo dostrzegłem ucząc sieci na najprostszych przykładach, np. tabliczki
mnożenia. Rozumiałem, że wyuczona sieć ma tabliczce 10x10 nie uogólnia dobrze
na przykładzie 20x20, ani nawet na przykładzie 5.5x5.5, bo to w końcu inny
model. Ale dlaczego sieć tak długo się uczy tych głupich 100 danych
uczących - nie mogłem zrozumieć. Dlatego opracowałem nowe sieci neuronowe,
powinny sprawiać mniej problemów.


> Zamiast tłumaczyć z języka A na B, można by spróbować tekst zrozumieć,
> mieć wtedy pośredni język.
>
> Na przykład porównując definicje:
> http://wordnetweb.princeton.edu/perl/webwn?s=solid&s
ub=Search+WordNet&o2=1&o0=1&o8=1&o1=1&o7=1&o5=&o9=&o
6=&o3=&o4=&h=0

Hmmmm, do przemyślenia.

>
> https://en.wiktionary.org/wiki/solid
>
> Widać że część się pokrywa, część nie. Ale w jaki sposób maszyna może
> stwierdzić pokrywanie się definicji?
> (geometry) A three-dimensional figure (as opposed to a surface, an area,
> or a curve).
> ==
> S: (n) solid#3 (a three-dimensional shape)
>
> (chemistry) A substance in the fundamental state of matter that retains
> its size and shape without need of a container (as opposed to a liquid
> or gas).
> ==
> (14)S: (n) solid#1 (matter that is solid at room temperature and pressure)
>
> natomiast to nie pasuje:
> An article of clothing which is of a single color throughout.
>
> --
> gdy się porównuje definicje, to człowiek jest w stanie stwierdzić, czy
> pasują czy nie, natomiast komputer jak to może stwierdzić?
> Przydałoby się liczyć to z jakimś prawdopodobieństwem, na przykład: te
> definicje pasuję na 0.99, te na 0.01, a gdy na 0.6 to mamy problem.

Trudno powiedzieć coś przydatnego na temat tego jak to robi człowiek. Też
czasami może źle zrozumieć. Może chodzi o to, że człowiek wyobraża sobie
jak będzie używał definicji? A co gdy definicje tworzy się w celu
czegoś niewyobrażalnego, np. w celu odkrycia naukowego? Ludzie to jakoś
robią.

Pozdrawiam