On 08/12/2010 11:12 AM, MoonWolf wrote:
> Zastanawiam się czy istnieje sposób na wykrycie 'sensu' w ciągu znaków.
> Chodzi o sprawdzenie czy jest to przypadkowy ciąg, czy też zdanie w
> języku polskim. Da się coś takiego zrobić?
>

poczytaj o kryptoanalizie

do góry

On 08/12/2010 07:05 PM, Mariusz Kruk wrote:
> epsilon$ while read LINE; do echo \>"$LINE"; done < "Mariusz Marszałkowski"
>>>> Jeśli zupełnie przypadkowy ciąg znaków chcesz odróżnić od zdania
>>>> w j. polskim, to bardzo proste.
>>> Chyba jeśli masz na myśli konkretne zdanie ;-)
>> Poprawne zdanie kontra losowy ciąg znaków,
>
> OK. To teraz śmiertelnie poważnie - jesteś w stanie zweryfikować
> choćby gramatyczną poprawność zdania? Bo ja się nie podejmuję.
> Zwłaszcza w wypadku zdań złożonych.
>

Powstało kilka opisów formalnych gramatyk języków naturalnych,
w tym gramatyki języka polskiego. Powstało też kilka metajęzyków
ułatwiających opisywanie gramatyk języków naturalnych ;)

Te formalne opisy radzą sobie z dużą ilością zdań, ale nie ze
wszystkimi. Łatwo wygenerować złośliwe zdania.

do góry

Dnia 12.08.2010 Mariusz Kruk <M...@e...eu.org> napisał/a:
> epsilon$ while read LINE; do echo \>"$LINE"; done < "Mariusz Marszałkowski"
>>> >Jeśli zupełnie przypadkowy ciąg znaków chcesz odróżnić od zdania
>>> >w j. polskim, to bardzo proste.
>>> Chyba jeśli masz na myśli konkretne zdanie ;-)
>>Poprawne zdanie kontra losowy ciąg znaków,
>
> OK. To teraz śmiertelnie poważnie - jesteś w stanie zweryfikować
> choćby gramatyczną poprawność zdania? Bo ja się nie podejmuję.
> Zwłaszcza w wypadku zdań złożonych.

Dobrym przybliżeniem może być przepuszczenie przez Świgrę:

http://nlp.ipipan.waw.pl/~wolinski/swigra

pozdrawiam,
Daniel

do góry

Użytkownik "Maciej Sobczak" <s...@g...com> napisał w wiadomości
grup
dyskusyjnych:465f7f28-9acc-433f-b920-9e2182b51a65@z2
8g2000yqh.googlegroups.com...
> http://www.museumofhoaxes.com/hoax/weblog/permalink/
automatic_paper_generator/
> http://pdos.csail.mit.edu/scigen/

Znany i lubiany. Tyle że on generuje z większych klocków. Podobnie jak
generatory tworzące tekst na podstawie gramatyki (niekoniecznie naturalnego
języka).

slawek

do góry

epsilon$ while read LINE; do echo \>"$LINE"; done < "Segmentation Fault"
>Te formalne opisy radzą sobie z dużą ilością zdań, ale nie ze
>wszystkimi.

No i o to chodzi.


--
\.\.\.\.\.\.\.\.\.\.\.\.\.\
.\....@e...eu.org.\.\.
\.http://epsilon.eu.org/\.\
.\.\.\.\.\.\.\.\.\.\.\.\.\.

do góry

MoonWolf <m...@p...com> wrote:
> Zastanawiam się czy istnieje sposób na wykrycie 'sensu' w ciągu znaków.
> Chodzi o sprawdzenie czy jest to przypadkowy ciąg, czy też zdanie w
> języku polskim. Da się coś takiego zrobić?
... jasne, ale w przypadku jezyka polskiego jest to bardzo trudne.
Podejrzewam, ze o ile sam program operujacy na poziomie analizy syntaktycznej bylby
juz trudny
do zrobienia, zwlaszcza, ze musialbys robic wszystko sam,
to juz operowanie na poziomie analizy semantycznej tych wyrazen, ktore zostalyby
wstepnie
zaklasyfikowane jako poprawne bylby o rzad wielkosci trudniejszy w realizacji.
Chocby kwestia odmiany, to ze jezyk polski nie jest jezykiem niepozycyjnym,
brak ogolnie dostepnej wiedzy an ten tamat (poza deklaratywna) to tylko niektore
problemy z jakimi musialbys powalczyc, ale zyczy powodzenia;-) Jedyny pomysl jai mi
przychodzi do glowy, to dorwanie jakiego korpusu jezyka polskiego, wpakowanie
go do bazy z wyszukiwaniem pelnotekstowym ala MySQL z silnikiem Sphinx'a, a potem
heurystyczna analiza wynikow. Oczywiscie, heurystyka do znalezienia we wlasnym
zakresie;-)
Z powazaniem
Adam Przybyla

do góry

Jacek Czerwinski wrote:
> W dniu 2010-08-12 14:20, Mariusz Marszałkowski pisze:
>> On 12 Sie, 11:12, MoonWolf<m...@p...com> wrote:
>
>> Jeśli zupełnie przypadkowy ciąg znaków chcesz odróżnić od zdania
>> w j. polskim, to bardzo proste. Jeśli chcesz żeby program powiedział,
>> czy przeciętny kowalski to zdanie zrozumie, to bardzo trudne.
>
> Od dawna, w kregach unixowych na gruncie angielskiego jest narzedzie
> oceniajace zlozonosc tekstu i podatnosc na zrozumienie przez
> statystycznego Smitha. Kojarze jak przez mgle, chodzilo o dlugosci
> zdania, ilosc spojnikow (czyli zwiazki ze zdaniami podrzednymi), tego
> typu algorytmy. Oczywiscie byl mozliwy sztuczny teskt ktory dostanie
> dobry ranking.
>
> Byc moze narzedzia do analizy stylistycznej w procesorach tekstu?
>
> Slawny "dolore ipsum" pokazuje, jak bardzo sztuczny tekst moze upodobnic
> sie do naturalnego jezyka.

Lorem ipsum to wszak prawdziwy tekst -- AFAIR toto cytata z Tacyta :)

pzdr
\SK
--
"Never underestimate the power of human stupidity" -- L. Lang
--
http://www.tajga.org -- (some photos from my travels)

do góry

Dnia Fri, 20 Aug 2010 17:19:17 +0200, Sebastian Kaliszewski napisał(a):
> Lorem ipsum to wszak prawdziwy tekst -- AFAIR toto cytata z Tacyta :)

Prawie cytat i prawie z Tacyta:
http://pl.wikipedia.org/wiki/Lorem_ipsum

Tak twierdzi prawie encyklopedia.;-)

Pozdrawiam,
Waldek

do góry