Dnia Sun, 10 Feb 2013 12:56:00 +0100, Jacek wyszeptal:

> http://www.tvn24.pl/600-tys-kartotek-2-mln-stron-bad
an-klinicznych-
ostry-trening-watsona-do-leczenia-raka,305440,s.html

Podstawowa struktura jest opisana na wikipedii, nie będę powtarzał.
Sama ewaluacja hipotez i scoring to nic nowego, ale tworzenie hipotez
na podstawie WordNet (leksykon gramatyczny) i ontologii dotyczących
samej wiedzy uzyskanej - jeżeli dobrze rozumiem - ze strukturyzowanych
i niestrukturyzowanych danych: to jest coś.

Kiedyś świętym graalem AI była nie ewaluacja rozwiązań, ale właśnie
ich tworzenie. Istniały zabawkowe "kreatywne" zastosowania, tu
mamy połączenie kreatywności, logiki i selekcji rozwiązań, w połączeniu
z NLP, które samo nie jest niczym nowym.

--
Edek

do góry

Dnia Mon, 11 Feb 2013 15:49:33 -0800, M.M. wyszeptal:

> SSN mogłyby być skuteczne jakby podać im do uczenia tekst wysoko
> przetworzony. To jest właśnie ta masa pracy o jakiej pisałem powyżej.

SSN symulują fizyczną strukturę mózgu, niewiele ponadto.

Więcej rozwoju wiedzy na ten temat wiąże się pracami
na temat metod opartych na prawdopodobieństwie.
W tym udawadnianiu, że proces poznania już u małych dzieci zachowuje
się prawie dokładnie tak, jak znane metody probabilistyczne,
chociażby uzywane w ekonomii - przynajmniej istnieją badania
potwierdzające cechy probabilistyczne w procesie uczenia,
takie jak "jeżeli widzę coś podobnego do tego co znam, nie ma
w tym nic ciekawego, ale interesujące są wszystkie obiekty nie
pasujące do reguły, bo pozwalają stworzyć nowe reguły". Wniosek
z tego taki, że ekonometrycy zachowują się jak dzieci ;)

--
Edek

do góry

W dniu sobota, 16 lutego 2013 15:28:11 UTC+1 użytkownik Edek Pienkowski napisał:
> Dnia Mon, 11 Feb 2013 15:49:33 -0800, M.M. wyszeptal:
>
> > SSN mogłyby być skuteczne jakby podać im do uczenia tekst wysoko
> > przetworzony. To jest właśnie ta masa pracy o jakiej pisałem powyżej.
>
>
> SSN symulują fizyczną strukturę mózgu, niewiele ponadto.
Nie powiedziałbym że SSN mają coś wspólnego ze swoimi
biologicznymi odpowiednikami, no... może poza ideą :)

Na moje to wygląda prościej. Mamy jakieś problemy które
byśmy chcieli rozwiązywać przy pomocy SSN. Mamy także
ogromną ilość SSN. Każdy problem, ma swój podzbiór
sieci które rozwiązują go w zadowalający sposób. W praktyce
trudno jest powiązać problemu z właściwą SSN.
Dlatego stosuje się szereg ułatwień, a to jest bardzo
pracochłonne, rzadko bywa skuteczne gdy się poda
nieprzetworzone dane na wejście sieci.


> Więcej rozwoju wiedzy na ten temat wiąże się pracami
> na temat metod opartych na prawdopodobieństwie.
Bo to prosty, przejrzysty model, który bywa skuteczny i
nie wymaga koszmarnej mocy obliczeniowej. Np. w takim
tłumaczeniu kontekstowym można obliczyć jak często wyraz
xxxx tłumaczył się na wyraz aaaa, jak często
na wyraz bbbb, itd. Jeśli są dane i są zasoby obliczeniowe to
można policzyć warunkowo jak często wyraz xxxx tłumaczył
się na aaaa jeśli poprzedza go wyraz yyyy. Natomiast tak
uzyskane prawdopodobieństwa można spróbować podać sieci
na wejście... ciekawe coby wyszło.


> W tym udawadnianiu, że proces poznania już u małych dzieci zachowuje
> się prawie dokładnie tak, jak znane metody probabilistyczne,
> chociażby uzywane w ekonomii - przynajmniej istnieją badania
> potwierdzające cechy probabilistyczne w procesie uczenia,
> takie jak "jeżeli widzę coś podobnego do tego co znam, nie ma
> w tym nic ciekawego, ale interesujące są wszystkie obiekty nie
> pasujące do reguły, bo pozwalają stworzyć nowe reguły".
Hmmm mnie się zawsze wydawało że to widać gołym okiem, bez badań :)


> Wniosek
> z tego taki, że ekonometrycy zachowują się jak dzieci ;)

Pozdrawiam

do góry

Dnia Sun, 17 Feb 2013 00:22:20 -0800, M.M. wyszeptal:

> W dniu sobota, 16 lutego 2013 15:28:11 UTC+1 użytkownik Edek Pienkowski napisał:
>> Dnia Mon, 11 Feb 2013 15:49:33 -0800, M.M. wyszeptal:
>>
>> > SSN mogłyby być skuteczne jakby podać im do uczenia tekst wysoko
>> > przetworzony. To jest właśnie ta masa pracy o jakiej pisałem powyżej.
>>
>>
>> SSN symulują fizyczną strukturę mózgu, niewiele ponadto.
> Nie powiedziałbym że SSN mają coś wspólnego ze swoimi
> biologicznymi odpowiednikami, no... może poza ideą :)

Nie chcę wchodzić w dyskusję czym sieci są lub mają być
według idei.

> Na moje to wygląda prościej. Mamy jakieś problemy które
> byśmy chcieli rozwiązywać przy pomocy SSN. Mamy także
> ogromną ilość SSN. Każdy problem, ma swój podzbiór
> sieci które rozwiązują go w zadowalający sposób.

No taka idea przyświecała tym sieciom na początku.

W praktyce
> trudno jest powiązać problemu z właściwą SSN.
> Dlatego stosuje się szereg ułatwień, a to jest bardzo
> pracochłonne, rzadko bywa skuteczne gdy się poda
> nieprzetworzone dane na wejście sieci.

No i taka jest praktyka. Można mieć "ogromną" ilość sieci,
tylko co z tego.

>> Więcej rozwoju wiedzy na ten temat wiąże się pracami
>> na temat metod opartych na prawdopodobieństwie.
> Bo to prosty, przejrzysty model, który bywa skuteczny i
> nie wymaga koszmarnej mocy obliczeniowej. Np. w takim
> tłumaczeniu kontekstowym można obliczyć jak często wyraz
> xxxx tłumaczył się na wyraz aaaa, jak często
> na wyraz bbbb, itd. Jeśli są dane i są zasoby obliczeniowe to
> można policzyć warunkowo jak często wyraz xxxx tłumaczył
> się na aaaa jeśli poprzedza go wyraz yyyy. Natomiast tak
> uzyskane prawdopodobieństwa można spróbować podać sieci
> na wejście... ciekawe coby wyszło.

Wyszłoby to co opisałeś: miałbyś statystykę, który wyraz
występuje częściej po innym wyrazie niż inny. Do
uczenia gramatyki jest daleko, od semantyki dzieli przepaść.

>> W tym udawadnianiu, że proces poznania już u małych dzieci zachowuje
>> się prawie dokładnie tak, jak znane metody probabilistyczne,
>> chociażby uzywane w ekonomii - przynajmniej istnieją badania
>> potwierdzające cechy probabilistyczne w procesie uczenia,
>> takie jak "jeżeli widzę coś podobnego do tego co znam, nie ma
>> w tym nic ciekawego, ale interesujące są wszystkie obiekty nie
>> pasujące do reguły, bo pozwalają stworzyć nowe reguły".
> Hmmm mnie się zawsze wydawało że to widać gołym okiem, bez badań :)

Jak widzisz 4-12 miesięcznego bobaska, to myślisz "ale on bayesjański"?!

--
Edek

do góry

W dniu poniedziałek, 18 lutego 2013 02:45:52 UTC+1 użytkownik Edek Pienkowski
napisał:
> > Bo to prosty, przejrzysty model, który bywa skuteczny i
> > nie wymaga koszmarnej mocy obliczeniowej. Np. w takim
> > tłumaczeniu kontekstowym można obliczyć jak często wyraz
> > xxxx tłumaczył się na wyraz aaaa, jak często
> > na wyraz bbbb, itd. Jeśli są dane i są zasoby obliczeniowe to
> > można policzyć warunkowo jak często wyraz xxxx tłumaczył
> > się na aaaa jeśli poprzedza go wyraz yyyy. Natomiast tak
> > uzyskane prawdopodobieństwa można spróbować podać sieci
> > na wejście... ciekawe coby wyszło.
>
> Wyszłoby to co opisałeś: miałbyś statystykę, który wyraz
> występuje częściej po innym wyrazie niż inny. Do
> uczenia gramatyki jest daleko, od semantyki dzieli przepaść.
Niestety to prawda. Człowiek wraz z kontekstem słownym - jeśli
tak można nazwać, pamięta kontekst okolicznościowy. Aby taka
metoda mogła sensownie zadziałać, a nie tylko (w razie
jakiegoś minimalnego powodzenia) stanowić skompresowaną
bazę danych, program na wejście musiałby otrzymać także
pojęcia jakie kryją się pod poszczególnym frazami. A może
przy dostatecznej ilość danych sam jest w stanie wytworzyć
pojęcia. Hmmmm, straciłem pewność.

Pozdrawiam

do góry

Dnia Sun, 17 Feb 2013 18:18:01 -0800, M.M. wyszeptal:

> W dniu poniedziałek, 18 lutego 2013 02:45:52 UTC+1 użytkownik Edek Pienkowski
napisał:
>> > Bo to prosty, przejrzysty model, który bywa skuteczny i
>> > nie wymaga koszmarnej mocy obliczeniowej. Np. w takim
>> > tłumaczeniu kontekstowym można obliczyć jak często wyraz
>> > xxxx tłumaczył się na wyraz aaaa, jak często
>> > na wyraz bbbb, itd. Jeśli są dane i są zasoby obliczeniowe to
>> > można policzyć warunkowo jak często wyraz xxxx tłumaczył
>> > się na aaaa jeśli poprzedza go wyraz yyyy. Natomiast tak
>> > uzyskane prawdopodobieństwa można spróbować podać sieci
>> > na wejście... ciekawe coby wyszło.
>>
>> Wyszłoby to co opisałeś: miałbyś statystykę, który wyraz
>> występuje częściej po innym wyrazie niż inny. Do
>> uczenia gramatyki jest daleko, od semantyki dzieli przepaść.
> Niestety to prawda.

Prawda: to znaczy co jest prawdą? Metody probabilistyczne
jak najbardziej działają, tyle że to był trywialny przykład.
Lepszym modelem uczenia struktury są hidden markov chains.

Człowiek wraz z kontekstem słownym - jeśli
> tak można nazwać, pamięta kontekst okolicznościowy. Aby taka
> metoda mogła sensownie zadziałać, a nie tylko (w razie
> jakiegoś minimalnego powodzenia) stanowić skompresowaną
> bazę danych, program na wejście musiałby otrzymać także
> pojęcia jakie kryją się pod poszczególnym frazami. A może
> przy dostatecznej ilość danych sam jest w stanie wytworzyć
> pojęcia.

Program jeżeli miałby modelować naturę miałby niewiele "na
wejściu", modelować można proces uczenia. W przeciwnym
wypadku trzeba uznać, że dowolny człowiek od urodzenia
miałby w głowie takie pojęcia jak "katalizator",
"syrop wyksztuśny" czy "gwiazda poranna". Wraz z kontekstem
okolicznościowym rzecz jasna.

> Hmmmm, straciłem pewność.

Ja za to prawie z krzesła już spadam. Pora opuścić usenet na dzisiaj.

--
Edke

do góry

W dniu poniedziałek, 18 lutego 2013 03:34:05 UTC+1 użytkownik Edek Pienkowski
napisał:
> Dnia Sun, 17 Feb 2013 18:18:01 -0800, M.M. wyszeptal:
>
>
>
> > W dniu poniedziałek, 18 lutego 2013 02:45:52 UTC+1 użytkownik Edek Pienkowski
napisał:
>
> >> > Bo to prosty, przejrzysty model, który bywa skuteczny i
>
> >> > nie wymaga koszmarnej mocy obliczeniowej. Np. w takim
>
> >> > tłumaczeniu kontekstowym można obliczyć jak często wyraz
>
> >> > xxxx tłumaczył się na wyraz aaaa, jak często
>
> >> > na wyraz bbbb, itd. Jeśli są dane i są zasoby obliczeniowe to
>
> >> > można policzyć warunkowo jak często wyraz xxxx tłumaczył
>
> >> > się na aaaa jeśli poprzedza go wyraz yyyy. Natomiast tak
>
> >> > uzyskane prawdopodobieństwa można spróbować podać sieci
>
> >> > na wejście... ciekawe coby wyszło.
>
> >>
>
> >> Wyszłoby to co opisałeś: miałbyś statystykę, który wyraz
> >> występuje częściej po innym wyrazie niż inny. Do
> >> uczenia gramatyki jest daleko, od semantyki dzieli przepaść.
> > Niestety to prawda.

> Prawda: to znaczy co jest prawdą?
Prawdą jest że do uczenia gramatyki/semantyki pozostał przepaść.
Niemniej z czystej ciekawości chciałbym zobaczyć jak się
uczy taki prosty program.

> Metody probabilistyczne
> jak najbardziej działają, tyle że to był trywialny przykład.
> Lepszym modelem uczenia struktury są hidden markov chains.
Na czym polega ta technika tak na chłopski rozum? Strzelam: rzutuje
się frazy na jakieś stany i potem prawdopodobieństwo że wyraz
xxx tłumaczy się jako yyy jeśli poprzednie stany były sss ?

> > Człowiek wraz z kontekstem słownym - jeśli
> > tak można nazwać, pamięta kontekst okolicznościowy. Aby taka
> > metoda mogła sensownie zadziałać, a nie tylko (w razie
> > jakiegoś minimalnego powodzenia) stanowić skompresowaną
> > bazę danych, program na wejście musiałby otrzymać także
> > pojęcia jakie kryją się pod poszczególnym frazami. A może
> > przy dostatecznej ilość danych sam jest w stanie wytworzyć
> > pojęcia.


> Program jeżeli miałby modelować naturę miałby niewiele "na
> wejściu", modelować można proces uczenia. W przeciwnym
> wypadku trzeba uznać, że dowolny człowiek od urodzenia
> miałby w głowie takie pojęcia jak "katalizator",
> "syrop wyksztuśny" czy "gwiazda poranna". Wraz z kontekstem
> okolicznościowym rzecz jasna.
Człowiek od urodzenia nie ma tych pojęć w głowie, ale pamięć
szybko je chłonie. W sumie obojętnie czy się z nimi rodzi,
czy się ich uczy, to w końcu ma je w głowie i może na nich
operować. Reprezentacja pojęć w ludzkim umyśle stanowi jakąś
niezwykła strukturę. A jaką strukturę może zbudować program,
który otrzyma na wejście sam tekst? Może być ona podobna
do tej na jakiej operują ludzie? Wydaje się to niemożliwe,
ba.... mnie się czasami wydaje, że pojęcia na których operują
ludzie, wcale nie mieszczą się w głowie.


> > Hmmmm, straciłem pewność.
> Ja za to prawie z krzesła już spadam. Pora opuścić usenet na dzisiaj.
Ja też już ledwo widzę :)

Pozdrawiam

do góry

Dnia Sun, 17 Feb 2013 20:06:01 -0800, M.M. wyszeptal:

> W dniu poniedziałek, 18 lutego 2013 03:34:05 UTC+1 użytkownik Edek Pienkowski
napisał:
>> Dnia Sun, 17 Feb 2013 18:18:01 -0800, M.M. wyszeptal:

>> >> Wyszłoby to co opisałeś: miałbyś statystykę, który wyraz
>> >> występuje częściej po innym wyrazie niż inny. Do
>> >> uczenia gramatyki jest daleko, od semantyki dzieli przepaść.
>> > Niestety to prawda.
>
>> Prawda: to znaczy co jest prawdą?
> Prawdą jest że do uczenia gramatyki/semantyki pozostał przepaść.
> Niemniej z czystej ciekawości chciałbym zobaczyć jak się
> uczy taki prosty program.

Nie uczy się tego akurat najczęściej, bo reguły gramatyczne
są znane i proste do zahardkodowania.

>> Metody probabilistyczne
>> jak najbardziej działają, tyle że to był trywialny przykład.
>> Lepszym modelem uczenia struktury są hidden markov chains.
> Na czym polega ta technika tak na chłopski rozum? Strzelam: rzutuje
> się frazy na jakieś stany i potem prawdopodobieństwo że wyraz
> xxx tłumaczy się jako yyy jeśli poprzednie stany były sss ?

Reprezentuje takie reguły jak to, że w języku angielskim
czasownik po czasowniku oznacza a) formę gramatyczną, b)
jak w większości języków jeden z czasowników jest czynnością
będącą obiektem drugiej czynności: "przestał ciągnąć Jasia za
nogę" c) koljeny czasownik ropoczyna kolejne zdanie podrzędne.

Raczej nie technika, a wynik badań kilkulatków. Sam model
nie załatwia wszystkiego - język jest bardzo mocno powiązany
ze znaczeniem, w tym tak prymitywnym jak obiekt lub dwa lub
trzy i czynność. Ma to związek zarówno z ewolucją języka
jak i jego nauką - dwie strony tej samej monety.

Implementując najczęściej używa się WordNet - wyrazy pogrupowane
w rzeczowniki, czasowniki, przymiotniki i przysłówki, plus odrobinę
informacji o wiązaniu gramatycznym, co pośrednio oddaje część
prymitywnej semantyki (obiekt, dwa lub trzy). Uczenie się
świata na podstawie pierwszych obiektów ("maaama: pilkaaa")
zajęłoby za długo. Uczenie się gramatyki prawdopodobnie też.
WordNet plus kilka reguł gramatycznych pozwala na rozbiór
gramatyczny zdania, od dawna.

Watson używa WordNet, a do semantyki ontologii, jeżeli od pewnego
momentu potrafi z języka pisanego rozbudowywać własne (doczytam
linki w wiki) to te pierwsze plus ustrukturyzowa wiedza
dają w swoistym sensie bootstrap.

--
Edek

do góry

Dnia Mon, 18 Feb 2013 12:39:04 +0000, Edek Pienkowski trzepnął:

> zajęłoby za długo

<idzie zapić bo nie może spojrzeć w lustro/>

--
Edek

do góry

Dnia Mon, 11 Feb 2013 15:49:33 -0800, M.M. wyszeptal:

> Z tego co słyszałem, google w swoich wyszukiwarkach i translatorach też
> używa metod opartych na prawdopodobieństwie.

Tu jest ogólny zarys tłumaczenia Google, projektu Google i Watsona:

http://www.technologyreview.com/view/510141/what-mak
es-a-mind-kurzweil-and-google-may-be-surprised/

--
Edek

do góry