Witam,
Napisałem sobie programik pt. perkun (od słowiańskiego boga Perkuna) służący do
zabawy z AI. Można go ściągnąć z:

https://sourceforge.net/projects/perkun/

Jest to język z załączonym przykładowym programem (src/t1.perkun). Do zbudowania
wymaga flex'a i bison'a.

Program w Perkunie składa się z kilku następujących po sobie obowiązkowych sekcji i
ciągu instrukcji. Sekcje są to:
- wartości
- zmienne
- funkcja payoff (tzw. funkcja odpłaty)
- model (coś w rodzaju fizyki gry)

Jako ciąg instrukcji proponuję na razie tylko instrukcję loop z parametrem
oznaczającym głębokość rekurencji planowania.

Perkun odznacza się tym, że obsługuje zmienne ukryte tj. takie zmienne, które nie są
obserwowalne dla naszego "agenta". W każdej chwili posiada rozkład nad kartezjanem
możliwych wartości zmiennych ukrytych, tzw. "belief". Belief (po polsku nazwijmy go
wiarą) jest uaktualniany w każdym kroku w ten sposób, że po wpisaniu na wejście ciągu
wartości zmiennych wejściowych program interpretuje zaobserwowany rezultat
"eksperymentu".

Zapraszam do rozważenia przykładowego programu t1.perkun. Fizykę gry (model) można
zinterpretować jako dwa automaty, zależnie od tego co robi agent. Jeżeli agent na
wyjściu ustawi "false" wówczas nic się nie zmienia. Jeżeli agent na wyjściu ustawi
"true" wówczas zmienna x i zmienna ukryta a są cyklicznie przechodzone w porządku:
(false,false)->(false,true)->(true,false)->(true,tru
e)

Ponadto program "lubi" mieć na wejściu wartość true, co wynika z funkcji odpłaty.

Po uruchomieniu perkuna z t1.perkun jako argumentem otrzymujemy prompt z informacją,
że na wejściu oczekiwane są wartości zmiennej x. Jest to w tym przykładzie jedyna
zmienna wejściowa.

Wpiszmy false. Perkun zareaguje wypisując belief (wiarę) postaci:
belief:
a=false x=false 0.5
a=true x=false 0.5
optimal action:
z=true

Czyli nie wie czy zmienna ukryta jest false czy true, ale wie, że chce "uaktywować"
automat. Wpiszmy teraz ponownie false. Reakcja:
belief:
a=false x=false 0
a=true x=false 1
optimal action:
z=true

Tym razem na podstawie znajomości modelu perkun doszedł do przekonania, że zmienna
akryta a musi być równa true. Decyzja jest taka jak poprzednio, czyli agent
"aktywuje" automat. Wpiszmy teraz true. Reakcja:

belief:
a=false x=true 1
a=true x=true 0
optimal action:
z=false

Teraz perkun uważa, że zmienna a zmieniła wartość na false i ponieważ na wejściu
widzi true czyli to co lubi - postanawia utrzymać ten stan.

Ciekawostka. Jeżeli "okłamiemy" perkuna, np. po ostatniej decyzji dając "false",
wówczas wiara stanie w sprzeczności z fizyką gry, co perkun wypisze jako:
belief:
a=false x=false -nan
a=true x=false -nan
optimal action:
z=false

Jeżeli powtórzymy eksperyment wpisując od początku true, wówczas perkun zupełnie
słusznie zdecyduje, że nie chce uruchamiać automatu, czyli wybierze optymalną akcję
z=false, ale nie będzie miał wcale pewności co do zmiennej a.

Zapraszam do zabawy.

Paweł Biernacki

P.S. Matematykę do Perkuna stworzyłem sam, mniej więcej piętnaście lat temu, ale nie
udało mi się wówczas zainteresować nią akademików. Sprowadza się do dwóch wzorów,
które zdaje się mają coś wspólnego z Teorią Optymalizacji. Gdyby ktoś był ciekawy
matematyka ta tkwi w pliku src/optimizer.cc.