epsilon$ while read LINE; do echo \>"$LINE"; done < "Mariusz Marszałkowski"
>Jeśli zupełnie przypadkowy ciąg znaków chcesz odróżnić od zdania
>w j. polskim, to bardzo proste.

Chyba jeśli masz na myśli konkretne zdanie ;-)


--
d'`'`'`'`'`'`'`'`'`'`'`'`'Yb
`b K...@e...eu.org d'
d' http://epsilon.eu.org/ Yb
`b,-,.,-,.,-,.,-,.,-,.,-,.d'

do góry

On 12 Sie, 16:28, Mariusz Kruk <M...@e...eu.org> wrote:
> epsilon$ while read LINE; do echo \>"$LINE"; done < "Mariusz Marszałkowski"
>
> >Jeśli zupełnie przypadkowy ciąg znaków chcesz odróżnić od zdania
> >w j. polskim, to bardzo proste.
>
> Chyba jeśli masz na myśli konkretne zdanie ;-)

Poprawne zdanie kontra losowy ciąg znaków,
np.: coś takiego:

for( i=0 ; i<N ; i++ )
drukuj losyw znak, liczbę, spacje albo znak interp.

Pozdrawiam

do góry

Mariusz Marszałkowski denied rebel lies:

> Poprawne zdanie kontra losowy ciąg znaków,

Poprawne także w zakresie znaków interpunkcyjnych? Bo z tym może być
problem (choć do przeskoczenia jak sądzę) (;)

--
<:> Roger, MoonWolf Out <:>|I'm your source of self-destruction
(::) (::)|
(:) JID:m...@j...org(:)| http://karakkhaz.prv.pl

do góry

epsilon$ while read LINE; do echo \>"$LINE"; done < "Mariusz Marszałkowski"
>> >Jeśli zupełnie przypadkowy ciąg znaków chcesz odróżnić od zdania
>> >w j. polskim, to bardzo proste.
>> Chyba jeśli masz na myśli konkretne zdanie ;-)
>Poprawne zdanie kontra losowy ciąg znaków,

OK. To teraz śmiertelnie poważnie - jesteś w stanie zweryfikować
choćby gramatyczną poprawność zdania? Bo ja się nie podejmuję.
Zwłaszcza w wypadku zdań złożonych.

--
\------------------------/
| K...@e...eu.org |
| http://epsilon.eu.org/ |
/------------------------\

do góry

Użytkownik "MoonWolf" <m...@p...com> napisał w wiadomości grup
dyskusyjnych:i40dt9$ski$...@n...onet.pl...
> Zastanawiam się czy istnieje sposób na wykrycie 'sensu' w ciągu znaków.
> Chodzi o sprawdzenie czy jest to przypadkowy ciąg, czy też zdanie w
> języku polskim. Da się coś takiego zrobić?

Podpowiem ci coś wprost odwrotnego - da się zrobić generator "bezsensu" -
ale taki, że będziesz potrzebował pewnego wysiłku, aby się połapać.

Czyli innymi słowy - da się "zawiesić" "oprogramowanie" mózgu na tyle
skutecznie, że - podobnie jak przy innych złudzeniach - jest to aż nie do
wiary.

Algorytm jest prosty, wymaga np. książki (jakiegoś długiego tekstu w danym
języku). Wybierasz losowe miejsce w książce i patrzysz, jaka jest w tym
miejscu litera zaczynająca wyraz. Następnie wybierasz inne losowe miejsce w
książce i szukasz litery takiej, że przed nią jest poprzednio znaleziona
litera. Potem jeszcze raz - ale szukasz bigramu (tj. dwóch liter, takich jak
pierwsza i druga). Odstęp też traktujesz jak literę. Odstęp resetuje - po
nim, gdy wypiszesz już ciąg znaków będący "słowem" (w istocie jest to
przypadkowy zlepek liter) - restartujesz.

Oczywiste jest, że tekst jest zupełnie przypadkowy. Jednak bez trudu można
np. odróżnić tak wygenerowany tekst "niemiecki" od "polskiego". Cały dowcip
w tym, że taka generacja tekstu zachowuje statystyczne jego właściwości.
Pojawiają się zlepki liter charakterystyczne dla danego języka.

slawek

do góry

Użytkownik "Mariusz Marszałkowski" <m...@g...com> napisał w wiadomości
grup
dyskusyjnych:f6c54770-6e7d-4855-8498-b472bb2cdba1@q2
2g2000yqm.googlegroups.com...
> Zacząłbym od słownika j. polskiego, sprawdziłbym siłowo czy słowa
> są w słowniku. Potem robią się schody. Może bym wczytał teksty

Prościej: entropia tekstu i analiza statystyczna bigramów. Słownik też, ale
potem. Także budowa gramatyczna - podmiot/orzeczenie -
rzeczownik/czasownik - ...

Gorzej, bo są teksty kompletnie bezsensowne, ale z sensem, np. wierszyki z
Alicji w Krainie Czarów.

Dlatego jest Uniwersalna Metoda Sprawdzania Sensu Tekstu - wyślij tekst na
news-y, zmierz liczbę odpowiedzi i pomnóż przez liczbę crosspostów
powiększoną o 1.

slawek

do góry

W dniu 2010-08-12 11:12, MoonWolf pisze:
> Zastanawiam się czy istnieje sposób na wykrycie 'sensu' w ciągu znaków.
> Chodzi o sprawdzenie czy jest to przypadkowy ciąg, czy też zdanie w
> języku polskim. Da się coś takiego zrobić?
>

Na zasadzie luznych skojarzen:
Ukryte modele Markova + Korpus Jezyka polskiego (http://korpus.pl/)

--
Pozdrawiam
Marcin Kral

do góry

On 12 Sie, 19:05, Mariusz Kruk <M...@e...eu.org> wrote:
> epsilon$ while read LINE; do echo \>"$LINE"; done < "Mariusz Marszałkowski"
>
> >> >Jeśli zupełnie przypadkowy ciąg znaków chcesz odróżnić od zdania
> >> >w j. polskim, to bardzo proste.
> >> Chyba jeśli masz na myśli konkretne zdanie ;-)
> >Poprawne zdanie kontra losowy ciąg znaków,
>
> OK. To teraz śmiertelnie poważnie - jesteś w stanie zweryfikować
> choćby gramatyczną poprawność zdania? Bo ja się nie podejmuję.
> Zwłaszcza w wypadku zdań złożonych.

Chodzi mi o to, że:
Jeśli zdanie jest wpisane przez człowieka z jakimś sprytnym
haczykiem to (chyba) żaden algorytm nie za działa. Ale jeśli
na wejście program otrzyma dwa zdania: jedno będzie
poprawne, a drugie z losowych znaków o jakimś nieznanym
rozkładzie, to dość łatwo rozpozna.

Pozdrawiam

do góry

W artykule <i40pnu$unq$1@news.onet.pl> Norbert napisal(a):

> Dnia 12 Aug 2010 13:32:07 +0200, Piotr M Kuć napisał(a):
>
>> Można policzyć poszczególne znaki i porównać do częstotliwości
>> ich występowania w danym języku naturalnym. Być może warto też
>> uwzględniać pary oprócz pojedynczych znaków.
>
> pisanie w jakimkolwiek jezyku naturalnym nie implikuje istnienia sensu w
> pisanym tekscie ;-)

Ale nieco zwiększa prawdopodobieństwo. :)


--
Pozdrawiam, Piotr.Kuc-(szympans)-kuciak.net
Piotr Kuć

do góry

On 12 Sie, 19:33, "slawek" <s...@h...pl> wrote:

> Podpowiem ci coś wprost odwrotnego - da się zrobić generator "bezsensu" -
> ale taki, że będziesz potrzebował pewnego wysiłku, aby się połapać.
>
> Czyli innymi słowy - da się "zawiesić" "oprogramowanie" mózgu na tyle
> skutecznie, że - podobnie jak przy innych złudzeniach - jest to aż nie do
> wiary.

http://www.museumofhoaxes.com/hoax/weblog/permalink/
automatic_paper_generator/

Generator jest tutaj:

http://pdos.csail.mit.edu/scigen/

Polecam, naprawdę niezły ubaw.

--
Maciej Sobczak * http://www.inspirel.com

do góry