Pan J.F. napisał:

>> Nie jestem w stanie tego dokładnie ocenić. Znalazłem informację, że
>> w Polsce wysyła się rocznie 56 miliardów SMS-ów (myślałem, że mniej).
>> To daje średnią półtora tysiąca na sekundę.
>
> ~100/mc/klienta.
> Mozliwe ze ktos nadrabia srednia ... ale nalezy tez doliczyc wszystko
> co dostajemy. Konkursy, informacje, hasla z banku ...

No właśnie, rozkład jest mocno nierównomierny. Sam może wysyłam kilka
w roku (kiedyś więcej, gdy rozmowy były drogie). Z tych przychodzących,
to mam tylko hasła z banku. Ale są zawodnicy, co walą sto dziennie.

>> To daje średnią półtora tysiąca na sekundę. W porywach oczywiście
>> więcej (jakiś Nowy Rok), ale operatorów jest czterech i logowanie
>> też mogą mieć jakoś rozproszone.
>
> Wszystkie przechodza przez Centrum SMS, nie wiem czy tam jest jakies
> zwielokrotnienie, ale najwyrazniej wystarczaja. Fakt ze kazdy operator
> ma swoje.

Nie wszystkie. Nie jest sztuką wysłać SMS (z własnym numerem jako nadawcy,
a nawet z czymś zgoła innym) nie korzystając z sieci operatora i z jego
centrum, tylko z całkiem obcej bramki.

>> W każdym razie nawet te kilka tysięcy dostępów do różnych plików
>> w ciągu sekundy nie wydaje się czymś aż tak bardzo problematycznym.
>
> A to akurat moze byc problem, bo zobacz jak szybko dziala np
> wyszukiwanie pliku, albo kasowanie ... straszny jest narzut systemu.

Ale nie aż taki. Serwery sobie radzą.

> Usiluje wlasnie skasowac pliki na zdalnym komputerze - kilka sekund
> na plik ...

Przecież nie kasuje tyle czasu bajt po bajcie. Wysłanie wiadomości
o tym, co komputer ma zrobić, tyle trwa (może jeszcze pokazuje
karteczki fruwające nad koszem?).

>> Nawet biorąc tygodniowy ruch od wszystkich operatorów, czyli miliard
>> SMS-ów, albo inaczej 100-200 GB danych, nie jest to jakiś dramat żeby
>> to zwyczajnie przegrepować w poszukiwaniu numeru. Ale nie gromadzi się
>> w jednym miejscu wszyskich SMS-ów od wszystkich do wszystkich (chyba
>> że na jakiejś pryzmie), więc i tak trzeba wstępnie określić miejsce
>> poszukiwań. Pożądnie indeksowana baza oczywiście będzie pomocą, ale
>> bez tego też się da. To nie ta skala, co Google i WWW.
>
> I tak jak pisalem - oni zapisuja informacje o SMS, o rozmowach, o
> logowaniach do BTS - a to podobna ilosc danych. I robia to.

No i w ogóle dużo robią. Wchodze na swoje konto, klikam gdzie trzeba
i dostaję wykaz połączeń za wskazany okres. Nie ma przeszkód technicznych,
bym klikając w SMS mógł przeczytać jego treść, a klikając w rozmowę
mógł ją odsłuchać. Nie wykluczam, że gdzieś tak sobie swobodnie klikają
przy kubku z herbatą, czytają i słuchają.

>>> Nie twierdzę, że każde inne rozwiązanie jest złe, ale nie są one
>>> optymalne. Przypominam że mówiliśmy o rozwiązaniu optymalnym.
>>
>> Na tym własnie polega różnica w naszych podejściach. Bo ja twierdzę,
>> że stosowanie bazy danych do obróbki stu SMS-ów, to rozwiązanie złe
>> i nieoptymalne.
>
> Zalezy do czego i jak chcesz obrabiac - teraz latwiej o narzedzia do
> sql niz do setki plikow :-)

Że co?! Mam plik tekstowy złożony ze stu wierszy, w każdym jeden SMS.
Żeby zobaczyć co i kiedy pisałem do Marii, mam zapodawać jakies kwerendy
SQL? I że niby to ma być łatwiej?

Jarek

--
Siedzę sobie na komisariacie
Przy sœwieżo zaparzonej herbacie
Ja bardzo lubię tę naszą Madras,
Którą socjalna nalewa nam z wiadra

do góry

Pan J.F. napisał:

>> Nie jestem w stanie tego dokładnie ocenić. Znalazłem informację, że
>> w Polsce wysyła się rocznie 56 miliardów SMS-ów (myślałem, że mniej).
>> To daje średnią półtora tysiąca na sekundę.
>
> ~100/mc/klienta.
> Mozliwe ze ktos nadrabia srednia ... ale nalezy tez doliczyc wszystko
> co dostajemy. Konkursy, informacje, hasla z banku ...

No właśnie, rozkład jest mocno nierównomierny. Sam może wysyłam kilka
w roku (kiedyś więcej, gdy rozmowy były drogie). Z tych przychodzących,
to mam tylko hasła z banku. Ale są zawodnicy, co walą sto dziennie.

>> To daje średnią półtora tysiąca na sekundę. W porywach oczywiście
>> więcej (jakiś Nowy Rok), ale operatorów jest czterech i logowanie
>> też mogą mieć jakoś rozproszone.
>
> Wszystkie przechodza przez Centrum SMS, nie wiem czy tam jest jakies
> zwielokrotnienie, ale najwyrazniej wystarczaja. Fakt ze kazdy operator
> ma swoje.

Nie wszystkie. Nie jest sztuką wysłać SMS (z własnym numerem jako nadawcy,
a nawet z czymś zgoła innym) nie korzystając z sieci operatora i z jego
centrum, tylko z całkiem obcej bramki.

>> W każdym razie nawet te kilka tysięcy dostępów do różnych plików
>> w ciągu sekundy nie wydaje się czymś aż tak bardzo problematycznym.
>
> A to akurat moze byc problem, bo zobacz jak szybko dziala np
> wyszukiwanie pliku, albo kasowanie ... straszny jest narzut systemu.

Ale nie aż taki. Serwery sobie radzą.

> Usiluje wlasnie skasowac pliki na zdalnym komputerze - kilka sekund
> na plik ...

Przecież nie kasuje tyle czasu bajt po bajcie. Wysłanie wiadomości
o tym, co komputer ma zrobić, tyle trwa (może jeszcze pokazuje
karteczki fruwające nad koszem?).

>> Nawet biorąc tygodniowy ruch od wszystkich operatorów, czyli miliard
>> SMS-ów, albo inaczej 100-200 GB danych, nie jest to jakiś dramat żeby
>> to zwyczajnie przegrepować w poszukiwaniu numeru. Ale nie gromadzi się
>> w jednym miejscu wszyskich SMS-ów od wszystkich do wszystkich (chyba
>> że na jakiejś pryzmie), więc i tak trzeba wstępnie określić miejsce
>> poszukiwań. Pożądnie indeksowana baza oczywiście będzie pomocą, ale
>> bez tego też się da. To nie ta skala, co Google i WWW.
>
> I tak jak pisalem - oni zapisuja informacje o SMS, o rozmowach, o
> logowaniach do BTS - a to podobna ilosc danych. I robia to.

No i w ogóle dużo robią. Wchodze na swoje konto, klikam gdzie trzeba
i dostaję wykaz połączeń za wskazany okres. Nie ma przeszkód technicznych,
bym klikając w SMS mógł przeczytać jego treść, a klikając w rozmowę
mógł ją odsłuchać. Nie wykluczam, że gdzieś tak sobie swobodnie klikają
przy kubku z herbatą, czytają i słuchają.

>>> Nie twierdzę, że każde inne rozwiązanie jest złe, ale nie są one
>>> optymalne. Przypominam że mówiliśmy o rozwiązaniu optymalnym.
>>
>> Na tym własnie polega różnica w naszych podejściach. Bo ja twierdzę,
>> że stosowanie bazy danych do obróbki stu SMS-ów, to rozwiązanie złe
>> i nieoptymalne.
>
> Zalezy do czego i jak chcesz obrabiac - teraz latwiej o narzedzia do
> sql niz do setki plikow :-)

Że co?! Mam plik tekstowy złożony ze stu wierszy, w każdym jeden SMS.
Żeby zobaczyć co i kiedy pisałem do Marii, mam zapodawać jakies kwerendy
SQL? I że niby to ma być łatwiej?

Jarek

--
Siedzę sobie na komisariacie
Przy świeżo zaparzonej herbacie
Ja bardzo lubię tę naszą Madras,
Którą socjalna nalewa nam z wiadra

do góry

Użytkownik "Jarosław Sokołowski" <j...@l...waw.pl>


>
>> Np w katalogu "janek" mogą być wszystkie sms'y Janka a w katalogu
>> "2013-07-07" dzisiejsze sms'y. Zapytanie systemu indeksującego dane
>> będzie statystycznie wielokrotnie szybsze od ich przeglądnięcia.
>
> Statystycznie, to może będzie szybsze, ale praktycznie dla mnie to nie
> do przyjęcia. Trzymam wszystkie SMS-y w jednym pliku i nie mam problemu
> ze znalezieniem wszystkich "od Janka" albo z "1 marca" (no dobra, niech
> będzie, że maile a nie SMS-y).

Odpowiedzi na twoje artykuły niusowe też tak szukasz ?

do góry

Dnia Sun, 7 Jul 2013 18:21:21 +0000 (UTC), Jarosław Sokołowski
> Pan J.F. napisał:
>>> W każdym razie nawet te kilka tysięcy dostępów do różnych plików
>>> w ciągu sekundy nie wydaje się czymś aż tak bardzo problematycznym.
>> A to akurat moze byc problem, bo zobacz jak szybko dziala np
>> wyszukiwanie pliku, albo kasowanie ... straszny jest narzut systemu.
> Ale nie aż taki. Serwery sobie radzą.

roznie bywalo.

>> Usiluje wlasnie skasowac pliki na zdalnym komputerze - kilka sekund
>> na plik ...
> Przecież nie kasuje tyle czasu bajt po bajcie. Wysłanie wiadomości
> o tym, co komputer ma zrobić, tyle trwa (może jeszcze pokazuje
> karteczki fruwające nad koszem?).

Dosc ze skasowanie kilkuset plikow trwa kilkanascie minut.
Co on wyrabia w miedzyczasie to nie wiem ... autoryzowal co plik,
czy widok folderu odswieza ...

> No i w ogóle dużo robią. Wchodze na swoje konto, klikam gdzie trzeba
> i dostaję wykaz połączeń za wskazany okres. Nie ma przeszkód technicznych,
> bym klikając w SMS mógł przeczytać jego treść, a klikając w rozmowę
> mógł ją odsłuchać. Nie wykluczam, że gdzieś tak sobie swobodnie klikają
> przy kubku z herbatą, czytają i słuchają.

Ustawa w zasadzie zabrania.

>>>> Nie twierdzę, że każde inne rozwiązanie jest złe, ale nie są one
>>>> optymalne. Przypominam że mówiliśmy o rozwiązaniu optymalnym.
>>> Na tym własnie polega różnica w naszych podejściach. Bo ja twierdzę,
>>> że stosowanie bazy danych do obróbki stu SMS-ów, to rozwiązanie złe
>>> i nieoptymalne.
>> Zalezy do czego i jak chcesz obrabiac - teraz latwiej o narzedzia do
>> sql niz do setki plikow :-)
> Że co?! Mam plik tekstowy złożony ze stu wierszy, w każdym jeden SMS.
> Żeby zobaczyć co i kiedy pisałem do Marii, mam zapodawać jakies kwerendy
> SQL? I że niby to ma być łatwiej?

aj tam kwerendy - select *.
Ale jak jak chcesz policzyc ile wyslales do Marii a ile do Olgi, to
juz latwiej sql :-)

J.

do góry

Jarosław Sokołowski <j...@l...waw.pl> writes:

> Ja byłem zawsze zauroczony genialnością organizacji systemu TRICKLE,
> który działał w systemie BITNET. Młodszym trzeba wyjaśnić, że służyło
> to zaopatrywaniu się w pliki, gdy nie było jeszcze sciągania z WWW,

Ani w ogóle WWW zresztą

> ani nawet z FTP (bo BITNET to też nie był Internet). Serwerów TRICKLE
> na świecie było kilka, a najgłówniejszy w bazie rakietowej White Sands,
> w bunkrze z ośmiometrowym betonowym stropem -- stamtąd można było
> ściągnąć program do drukarki albo GIF ze zdjęciem zielonej żabki.

To jakieś pomieszanie, komputer w WSMR (PDP-10 z TOPS-20 i TCP/IP oraz
terminalami "stacjonarnymi") nie był przecież w ogóle podpięty do
BITNETu, tylko do MILNETu (IP 26.xxx). Zresztą TRICKLE był chyba tylko
na IBMa(?) - nie jestem pewien, bo się tym specjalnie nie interesowałem,
zresztą łatwiej mi było mieć dostęp do Internetu niż do BITNETu
(przynajmniej do momentu podpięcia PLEARNu do IP i możliwości zakładania
kont każdemu, kto chciał).

> Wysyłało się mail z żądaniem konkretnego pliku do najbliższego serwera,
> a ten, jeśli tylko mógł, wysyłał natychmiast serie maili z UUEnkodowanymi
> fragmentami potrzebnego pliku. Natychmiast, czyli gdzieś tak w kwadrans
> lub dwa. Jeśli nie mógł, bo nie miał, to rozpytał inne serwery, czy ktoś
> ostatnio o taki plik nie prosił i czy nie mają go w pamięci podręcznej.
>
> Jeśli się taki znalazł, to on wysyłał. Poniewż to przysługa sąsiedzka,
> więc niekoniecznie od razu. Ale w ciągu doby zwykle się wyrabiał.
> Dopiero gdy i to nie wyszło, wtedy zapotrzebowanie szło do White
> Sands.

Tyle że po IP, bo jak inaczej. Można tego było zresztą używać z różnymi
maszynkami (może nie od razu), nie tylko z simtel20 (chyba z
ftp.funet.fi, cs.cmu.edu (wraz z AFSem) itd).

> A tam raz na tydzień jakiś robot zakładał na przewijak taśmę z plikami
> trickle i po kolei, bez szarpania w te i nazad, czytał pliki i rozsyłał
> je tam, gdzie zgłoszono zgłoszono chęć ich otrzymania. Więc była gwarancja,
> że dłużej niż tydzień na mail nie będzie trzeba czekać.

Eee tam, pliki na wsmr-simtel20.arpa były dostępne online, normalnie
przez anonymous FTP. Siedziały na normalnych dyskach, robiło się (coś
w stylu, mogę nie pamiętać dokładnie) cd PD1:[DIR.NAME] i get PLIK
i nie było żadnego zmieniania taśm (inną sprawą była szybkość, zwykle
drukowało się znak "#" co 1024 bajty i często odstępy między tymi
"hashami" były baaaardzo długie).

Tylko z BITNETu te cuda były, żeby nie obciążać linków między
BITNET/EARN/itd i Internetem (których była minimalna liczba,
a przepustowość wystarczała głównie do przesyłania poczty).
--
Krzysztof Hałasa

do góry

Jarosław Sokołowski <j...@l...waw.pl> writes:

> Nie jestem w stanie tego dokładnie ocenić. Znalazłem informację, że
> w Polsce wysyła się rocznie 56 miliardów SMS-ów (myślałem, że mniej).
> To daje średnią półtora tysiąca na sekundę. W porywach oczywiście
> więcej (jakiś Nowy Rok),

oraz * 3 ze względu na noc itp. Plus minimalny zapas, niech będzie
20 tysięcy/s.

> ale operatorów jest czterech i logowanie też
> mogą mieć jakoś rozproszone.

A może jutro jeden przejmie pozostałych i zminimalizuje koszty używając
pojedynczego peceta z demobilu :-) Skoro tak się da to czemu nie?

> W każdym razie nawet te kilka tysięcy
> dostępów do różnych plików w ciągu sekundy nie wydaje się czymś aż
> tak bardzo problematycznym.

No ale niestety to jest problematyczne.

> Nawet biorąc tygodniowy ruch od wszystkich operatorów, czyli miliard
> SMS-ów, albo inaczej 100-200 GB danych, nie jest to jakiś dramat żeby
> to zwyczajnie przegrepować w poszukiwaniu numeru. Ale nie gromadzi się
> w jednym miejscu wszyskich SMS-ów od wszystkich do wszystkich (chyba
> że na jakiejś pryzmie), więc i tak trzeba wstępnie określić miejsce
> poszukiwań. Pożądnie indeksowana baza oczywiście będzie pomocą, ale
> bez tego też się da. To nie ta skala, co Google i WWW.

Owszem, to jest mała skala, ale gdyby w takim np. Google w ten sposób
myśleli, to do nikąd by nie doszli. Podobnie tu.

Przegrepowanie kilkuset GB danych to niestety jest problem. Nie należy
zapominać, że w tym samym czasie wykonuje się zapis, oraz że takich
grepów będzie zapewne wiele.

> Na tym własnie polega różnica w naszych podejściach. Bo ja twierdzę,
> że stosowanie bazy danych do obróbki stu SMS-ów, to rozwiązanie złe
> i nieoptymalne.

Z tym nie polemizuję. Tysiące na sekundę to jednak inna sprawa.
--
Krzysztof Hałasa

do góry

"J.F." <j...@p...onet.pl> writes:

>> Jednak tak najczęściej jest. Mnie to nie zaskakuje - każda osoba, która
>> nie jest opóźniona w rozwoju, powinna chyba rozumieć, że to jest bez sensu.
>
> Dlaczego ? Po doborze celow i srodkow to ma sens, w Hiszpanii sie
> udalo.

Tzn. miałem na myśli to, że terrorystami są typowo opóźnieni w rozwoju,
lub chorzy psychicznie itp. (nie podejmuję się tego rozróżniać).
To jest oczywiste na pierwszy rzut oka.
Są wyjątki.
--
Krzysztof Hałasa

do góry

Jarosław Sokołowski <j...@l...waw.pl> writes:

> Gdyby tak było *najczęściej*, to by świadczyło jak najgorzej o ludziach,
> którzy mają temu zapobiegać. Bo zamachy się zdarzają, bomby wybuchaja
> i ludzie giną. No i jakże to tak -- wydać tyle pieniędzy, zorganizować
> tak wspaniały sprzęt i dać się przechytrzyć byle żulowi?

No ale przecież tak jest.
Z drugiej strony nie należy przeceniać możliwości "antyterrorystów"
(zanim sprawa wyjdzie na światło dzienne i zajmie się nią wojsko).
Może w takim np. Izraelu wygląda to inaczej, ale generalnie to nie jest
działalność priorytetowa, może poza naprawdę szczególnymi okazjami.
--
Krzysztof Hałasa

do góry

Dnia Sun, 07 Jul 2013 21:49:56 +0200, Krzysztof Halasa napisał(a):
> "J.F." <j...@p...onet.pl> writes:
>>> Jednak tak najczęściej jest. Mnie to nie zaskakuje - każda osoba, która
>>> nie jest opóźniona w rozwoju, powinna chyba rozumieć, że to jest bez sensu.
>> Dlaczego ? Po doborze celow i srodkow to ma sens, w Hiszpanii sie
>> udalo.
> Tzn. miałem na myśli to, że terrorystami są typowo opóźnieni w rozwoju,
> lub chorzy psychicznie itp. (nie podejmuję się tego rozróżniać).
> To jest oczywiste na pierwszy rzut oka.
> Są wyjątki.

Hm, a moze jakies przyklady na ten rzut oka ?

Bo owszem, jakby tak przyjac ze przecietny czlowiek uczy sie,
pracuje, ma zone, dzieci, w koncu godzi sie z tym ze g* zarabia,
idzie sie upic, wracajac odstresuje sie na zonie - a kto tak nie robi,
to jest nienormalny, a wiec chory psychicznie - ale to chyba zbyt
waska definicja normalnosci :-)

Podobnie calkiem inteligentni ludzie zostawali terrorystami.
Ci od WTC na tyle rozwinieci byli ze kurs pilotazu przeszli.
No chyba ze np patrzysz na RAF - widac faktycznie opoznieni, skoro
tyle lat im zajelo zrozumienie ze socjalizm to nie jest wlasciwy
ustroj :-)

J.

do góry

Pan Krzysztof Halasa napisał:

>> Ja byłem zawsze zauroczony genialnością organizacji systemu TRICKLE,
>> który działał w systemie BITNET. Młodszym trzeba wyjaśnić, że służyło
>> to zaopatrywaniu się w pliki, gdy nie było jeszcze sciągania z WWW,
>
> Ani w ogóle WWW zresztą
>
>> ani nawet z FTP (bo BITNET to też nie był Internet). Serwerów TRICKLE
>> na świecie było kilka, a najgłówniejszy w bazie rakietowej White Sands,
>> w bunkrze z ośmiometrowym betonowym stropem -- stamtąd można było
>> ściągnąć program do drukarki albo GIF ze zdjęciem zielonej żabki.
>
> To jakieś pomieszanie, komputer w WSMR (PDP-10 z TOPS-20 i TCP/IP oraz
> terminalami "stacjonarnymi") nie był przecież w ogóle podpięty do
> BITNETu, tylko do MILNETu (IP 26.xxx). Zresztą TRICKLE był chyba tylko
> na IBMa(?) - nie jestem pewien, bo się tym specjalnie nie interesowałem,
> zresztą łatwiej mi było mieć dostęp do Internetu niż do BITNETu
> (przynajmniej do momentu podpięcia PLEARNu do IP i możliwości zakładania
> kont każdemu, kto chciał).

To zauroczenie właśnie z okresu, gdy jeszcze nie było (w PL) Internetu.
Opis zmiany taśm też z tego, co zapamiętałem z lektury jakiegoś pliku HELP
wysyłanego z TRICKLE. I oczywiście IBM w PLEARN -- później już było łatwiej
z tymi wszystkimi FTP. Aż w końcu zobaczyłem gdzieś na ulicznym straganie
płytę CD podpisaną "archiwum simtel20".

--
Jarek

do góry