-
21. Data: 2007-07-02 16:04:20
Temat: Re: home.pl ...
Od: T <t...@i...invalid>
Sławomir Bem pisze:
> To sie Wasc zdecyduj, czy jestes za ubijaniem spamu na poziomie sesji (jak
> najwczesniej),
> czyli to co proponujesz powyzej. Jest tu niestety prawdopodobienstwo ze
> jakim wazny mail zostanie odbity, a ty swierdzisz ze admin wycina co popadnie.
(...)
> Opisz algorytm ktory bedzie wylapytal na poziomie sesji (jak najwczesniej bo
> szkoda pasma)
> smieci bez blednych odrzucen i zarazem zapewnial sprawne (wg Ciebie) dochodzenie
> poczty.
Istnieje kilka niezłych systemów odrzucania spamu (analiza heurystyczna,
rbl-e, greylisting, biała/czarna lista) i dobrze udostępnic je klientom
(lub chociaż część z nich). Oczywiście tak, żeby mogli samodzielnie
włączyć/wyłączyć per konto i oczywiście wyłączone by default.
Nie ma rzecz jasna idealnego systemu który sprawdzi się w każdej sytuacji.
Na przykład na koncie firmowym nie włączyłbym żadnego filtrowania. A na
koncie podawanym np. na newsach włączyłbym nawet greylisting.
> Administrujesz wiekszym systemem
Tak.
> czy swoje tezy opierasz na luznych spostrzezeniach?
> W jednym watku prezentujesz dwa bieguny. Czyli dyskusja akademicka.
Bo takie podejście jest jedynym właściwym. Podejście w stylu "przepuszczam
wszystko, niech sobie klienci przefiltrują w, tfu, thunderbirdzie" jest z
zasady niewłaściwe.
--
http://tomasz.insane.pl
-
22. Data: 2007-07-02 17:20:13
Temat: Re: home.pl ...
Od: Sławomir Bem <s...@d...piachu>
Użytkownik "T" <t...@i...invalid> napisał w wiadomości
news:f6b7m4$o8d$2@atlantis.news.tpi.pl...
>
> Istnieje kilka niezłych systemów odrzucania spamu (analiza heurystyczna,
uzywajac bayesa musisz wpuscic, a to wyklucza twoja teze ze trzeba oszczedzac
pasmo.
wiec zonk ;)
> rbl-e, greylisting, biała/czarna lista) i dobrze udostępnic je klientom
> (lub chociaż część z nich). Oczywiście tak, żeby mogli samodzielnie
> włączyć/wyłączyć per konto i oczywiście wyłączone by default.
Mam w systemie wszystkie wymienione przez Ciebie wynalazki
i jeszcze kilka innych (ale ubijam wylacznie w sesji, bez wpuszczania bo szkoda
pasma)
Wszystko wlaczane indywidualnie i samodzielnie.
W sumie 9 roznych filtrow/list i zawsze znajdzie sie czlowiek
ktory jak Ty, stwierdzi ze "Admin powinien przede wszystkim zapewnić
sprawne dochodzenie poczty, a nie wycinać co popadnie, bo coś mu się zdawało."
A dlaczego? Bo ma male pojecie o dzialaniu poczty (SMTP) i sposobow spamerow
aby sie przedostac.
Jesli sie cos zalapie na liste to zostanie odrzucone.
Nikomu sie nic nie zdaje, sa odpowiednie procedury dodawania do list
i NIE MA OBOWIAZKU powiadamiania o tym kogokolwiek (spamera),
tylko dobra wola (nawiazuje do poczatku tego watku)
> Nie ma rzecz jasna idealnego systemu który sprawdzi się w każdej sytuacji.
Widzisz jak spusciles z tonu.... ;)))) juz admin nie wycina co popadnie? ;)
Nie ma co filozofowac tylko trzeba popracowac z wiekszym systemem
ktory odbija przykladowo 0.5-1mln spamow na tydzien, wtedy za
przeproszeniem pitolenie ;) ze admin cos wycina, zaczyna byc smieszne.
> Na przykład na koncie firmowym nie włączyłbym żadnego filtrowania. A na
> koncie podawanym np. na newsach włączyłbym nawet greylisting.
Nawet greylisting....., pojechales teraz :)
Coraz bardziej zaczynam watpic w to czy wiesz jak dziala greylisting
i dlaczego jest to obecnie najefektywniejszy, a zarazem najmniej
odrzucajacy prawidlowa korespondencje (najbezpieczniejszy)
sposob filtrowania, wiec wlasnie najbardziej nadajacy sie wlasnie do kont
firmowych
i powinno sie go stosowac "przynajmniej" a nie "nawet".....
BTW, wytlumacz userowi na firmowej skrzynce ze nie bedzie mial filtrow
jesli dostaje 1k5 spamow na dobe.... (nawet greylistingu)
>> Administrujesz wiekszym systemem
>
> Tak.
Tzn tak na oko, ile k maili wlasciwych/spamu na dobe?
>> czy swoje tezy opierasz na luznych spostrzezeniach?
>> W jednym watku prezentujesz dwa bieguny. Czyli dyskusja akademicka.
>
> Bo takie podejście jest jedynym właściwym.
> Podejście w stylu "przepuszczam
> wszystko, niech sobie klienci przefiltrują w, tfu, thunderbirdzie" jest z
> zasady niewłaściwe.
Chyba przestalem rozumiec o co Ci chodzi. Chcesz mnie przekonac do moich
wlasnych tez?
--
s.
-
23. Data: 2007-07-02 19:49:17
Temat: Re: home.pl ...
Od: Krzysztof Halasa <k...@p...waw.pl>
Sławomir Bem <s...@d...piachu> writes:
>> Istnieje kilka niezłych -
24. Data: 2007-07-03 06:05:23
Temat: Re: home.pl ...
Od: Sławomir Bem <s...@d...piachu>
Użytkownik "Krzysztof Halasa" <k...@p...waw.pl> napisał w wiadomości
news:m3y7hypow2.fsf@maximus.localdomain...
> systemów odrzucania spamu (analiza heurystyczna,
>>
>> uzywajac bayesa musisz wpuscic, a to wyklucza twoja teze ze trzeba
>> oszczedzac pasmo.
>
> To ile (w porownaniu do innych rzeczy) tego pasma trzeba, bez zartow.
Wystarczajaco duzo zeby stwierdzic ze nie warto wpuszczac.
Jesli wezmiesz wolumen np 1mln spamow po 100k kazdy to wychodzi ok 10G danych,
Moze to duzo ,moze nie, znacznie wiecej mocy poszloby na analize tego shita
w takiej ilosci a to jest juz znaczaca wartosc, ktora wole oddac userom
a nie spamerom
>
>> Mam w systemie wszystkie wymienione przez Ciebie wynalazki
>> i jeszcze kilka innych (ale ubijam wylacznie w sesji, bez wpuszczania
>> bo szkoda pasma)
>
> Ciekawe jak, biorac pod uwage fakt, ze "bez wpuszczania" to masz
> do dyspozycji co najwyzej nazwe z HELO/EHLO oraz adresy "MAIL FROM"
> i "RCPT TO".
Ale co jak?
oprocz wymienionych przez Ciebie mam jeszcze IP nadawcy i ew. domene odwrotna
a te wszystkie parametry w odpowiedniej kombinacji popartej cwana baza
gwarantuja calkiem skuteczne filtrowanie spamu (bez wpuszczania)
> Ubijanie w sesji jest oczywiscie sensowne, bo nie trzeba generowac
> zwrotow (generowanie zwrotow wirusow/spamu to glupota i wlasciciel
> takiego czegos sam staje sie spamerem / rozsylaczem wirusow).
> Pasmo ma sie do tego nijak, chyba ze chodzi o pasmo zuzywane
> w czasie (prob) wysylania zwrotow.
> No i oczywiscie uzywajac bayesa tak samo mozna i trzeba odrzucac
> w sesji SMTP (odpowiadajac 5xx na DATA + tresc).
uzywajac bajesa musisz podjac dyskusje z nadawca, a nie widze powodu
jesli trafia w ktorakolwiek czarna aktywowana przez usera liste lub greliste.
>> BTW, wytlumacz userowi na firmowej skrzynce ze nie bedzie mial filtrow
>> jesli dostaje 1k5 spamow na dobe.... (nawet greylistingu)
>
> Podejrzanie duzo, nie pomyliles wykladnika? Moze ta skrzynka ma
> wiele roznych adresow? 1000 to jest juz naprawde duzo (w przeliczeniu
> dla jednego adresu).
Nie duzo, mialem klienta, ktory dostawal 37 tys na dobe
(fakt ze mial CatchAll wlaczone). Jesli tysiac spamow uwazasz za
podejrzanie duzo to jestem zdziwiony, albo mam wyjatkowe ofiary spamu w systemie
;)
> BTW: wielkosc systemu pocztowego ma sie do tego dokladnie nijak,
> oprocz moze czegos takiego, ze w bardzo malym moze nie oplacac sie
> stawiac jakichs bardziej wymyslnych filtrow.
Chyba jednak ma znaczenie bo im wiekszy, tym mniejszy blad statystyczny.
--
s.
-
25. Data: 2007-07-03 18:18:58
Temat: Re: home.pl ...
Od: Krzysztof Halasa <k...@p...waw.pl>
Sławomir Bem <s...@d...piachu> writes:
>> To ile (w porownaniu do innych rzeczy) tego pasma trzeba, bez zartow.
>
> Wystarczajaco duzo zeby stwierdzic ze nie warto wpuszczac.
> Jesli wezmiesz wolumen np 1mln spamow po 100k kazdy to wychodzi ok 10G
> danych,
Nie, wychodzi ok. 100 GB, na 100 Mbps linku nieco powyzej 2 godzin.
Tyle ze jesli dostajesz milion sztuk spamu po 100 KB, to dostajesz
takze np. 100 milionow sztuk spamu "krotkiego", i na Twoim linku
1 Gb/s (niekoniecznie pojedynczym) nie ma to znaczenia (w sensie
pasma).
> Ale co jak?
> oprocz wymienionych przez Ciebie mam jeszcze IP nadawcy i ew. domene odwrotna
> a te wszystkie parametry w odpowiedniej kombinacji popartej cwana baza
> gwarantuja calkiem skuteczne filtrowanie spamu (bez wpuszczania)
Tzn. w ogole nie filtrujesz spamu. Tylko odrzucasz na podstawie
danych z sesji SMTP. Oczywiscie, na tej podstawie mozna troche odrzucic,
ale oczywiscie duzo mniej niz filtrujac tresc.
Rozumiem ze takze greylistujesz - szkoda ze spamerzy nauczyli sie
i przestalo to dzialac wystarczajaco skutecznie.
> Nie duzo, mialem klienta, ktory dostawal 37 tys na dobe
> (fakt ze mial CatchAll wlaczone). Jesli tysiac spamow uwazasz za
> podejrzanie duzo to jestem zdziwiony, albo mam wyjatkowe ofiary spamu
> w systemie ;)
Tysiac to jest dosc duzo. 10 tysiecy to jest podejrzanie duzo.
Aczkolwiek mozliwe z tymi ofiarami, jestem w stanie wyobrazic sobie
ze ktos, kto oglasza swoj adres wszystkim spamerom (aktywnie, nie
tylko umieszczajac go np. w usenecie albo na innych WWW) tyle moze
dostac.
>> BTW: wielkosc systemu pocztowego ma sie do tego dokladnie nijak,
>> oprocz moze czegos takiego, ze w bardzo malym moze nie oplacac sie
>> stawiac jakichs bardziej wymyslnych filtrow.
>
> Chyba jednak ma znaczenie bo im wiekszy, tym mniejszy blad statystyczny.
Przy pojedynczym adresie email i 100 spamach dziennie blad statystyczny
jest juz pomijalny. Chyba ze chcialbys badac korelacje miedzy spamem
i aktywnoscia (adresu) np. w usenecie itp. - wtedy pewnie potrzeba
z 10 roznych userow.
--
Krzysztof Halasa
-
26. Data: 2007-07-03 19:36:46
Temat: Re: home.pl ...
Od: wer <b...@n...pl>
Sławomir Bem napisał(a):
> Użytkownik "T" <t...@i...invalid> napisał w wiadomości
> news:f6b7m4$o8d$2@atlantis.news.tpi.pl...
>
>>
>> Istnieje kilka niezłych systemów odrzucania spamu (analiza heurystyczna,
>
> uzywajac bayesa musisz wpuscic, a to wyklucza twoja teze ze trzeba
> oszczedzac pasmo.
> wiec zonk ;)
>
>> rbl-e, greylisting, biała/czarna lista) i dobrze udostępnic je klientom
>> (lub chociaż część z nich). Oczywiście tak, żeby mogli samodzielnie
>> włączyć/wyłączyć per konto i oczywiście wyłączone by default.
>
> Mam w systemie wszystkie wymienione przez Ciebie wynalazki
> i jeszcze kilka innych (ale ubijam wylacznie w sesji, bez wpuszczania bo
> szkoda pasma)
>
> Wszystko wlaczane indywidualnie i samodzielnie.
> W sumie 9 roznych filtrow/list i zawsze znajdzie sie czlowiek
> ktory jak Ty, stwierdzi ze "Admin powinien przede wszystkim zapewnić
> sprawne dochodzenie poczty, a nie wycinać co popadnie, bo coś mu się
> zdawało."
> A dlaczego? Bo ma male pojecie o dzialaniu poczty (SMTP) i sposobow
> spamerow
> aby sie przedostac.
>
> Jesli sie cos zalapie na liste to zostanie odrzucone.
> Nikomu sie nic nie zdaje, sa odpowiednie procedury dodawania do list
> i NIE MA OBOWIAZKU powiadamiania o tym kogokolwiek (spamera),
> tylko dobra wola (nawiazuje do poczatku tego watku)
>
>> Nie ma rzecz jasna idealnego systemu który sprawdzi się w każdej
>> sytuacji.
>
> Widzisz jak spusciles z tonu.... ;)))) juz admin nie wycina co popadnie? ;)
>
> Nie ma co filozofowac tylko trzeba popracowac z wiekszym systemem
> ktory odbija przykladowo 0.5-1mln spamow na tydzien, wtedy za
> przeproszeniem pitolenie ;) ze admin cos wycina, zaczyna byc smieszne.
>
>> Na przykład na koncie firmowym nie włączyłbym żadnego filtrowania. A na
>> koncie podawanym np. na newsach włączyłbym nawet greylisting.
>
> Nawet greylisting....., pojechales teraz :)
>
> Coraz bardziej zaczynam watpic w to czy wiesz jak dziala greylisting
> i dlaczego jest to obecnie najefektywniejszy, a zarazem najmniej
> odrzucajacy prawidlowa korespondencje (najbezpieczniejszy)
> sposob filtrowania, wiec wlasnie najbardziej nadajacy sie wlasnie do
> kont firmowych
> i powinno sie go stosowac "przynajmniej" a nie "nawet".....
Greylisting jest najgorszą metodą filtrowania spamu. Z checią bym wyciął
piłą mechaniczną serwery, na których jest używany. W skrajnych
przypadkach mail może dochodzić kilkanaście godzin, a poza tym zapycha
kolejki pocztowe. Mam cały czas przynajmniej kilkaset maili z
greylistingu w kolejce. W przypadku systemów, które mają kilka IP do
wysyłki poczty (np. klaster) mail może długo się dobijać. Greylisting
obciąża dodatkowo serwer nadawcy, więcej pamięci na kolejkę, więcej
zużytego procesora na wysyłanie maila, więcej połączeń sieciowych. Ten
sposób jest !@#$%^&.
Poza tym spamerzy coraz częściej stosują ponowną wysyłkę. Już zetknąłem
się z czymś takim jak najpierw pusty mail, za 10 minut następny już z
treścią.
wer
-
27. Data: 2007-07-03 20:47:45
Temat: Re: home.pl ...
Od: Krzysztof Halasa <k...@p...waw.pl>
wer <b...@n...pl> writes:
> Greylisting jest najgorszą metodą filtrowania spamu.
W ogole nia nie jest.
> Z checią bym
> wyciął piłą mechaniczną serwery, na -
28. Data: 2007-07-03 20:57:49
Temat: Re: home.pl ...
Od: wer <b...@n...pl>
Krzysztof Halasa napisał(a):
>>>>> Bylby zupelnie dobry, poniewaz powoduje przerzucenie obciazenia
>>>>> na serwer nadawcy. Piszesz o kilkuset listach w kolejce, ale
>>>>> z taka kolejka problemy to moze miec maszyna klasy 386DX z 4 MB RAM,
>>>>> i moze jeszcze, no nie wiem, z sendmailem?
>>>>> Troche inaczej wyglada to ze strony spamera, ktory chce tych listow
>>>>> wyslac duzo wiecej.
O ile nie masz w kolejce kilku tysiecy listow z roznych powodow.
Dodatkowe kilkaset robi jednak roznice. Dlaczego moj serwer ma byc
obciazony, bo ktos filtruje poczte? Pomijam juz telefony klientow,
ktorym poczta nie dotarla w ciagu 5 minut do odbiorcy (sa tacy napalency).
wer
-
29. Data: 2007-07-03 21:05:04
Temat: Re: home.pl ...
Od: Sławomir Bem <s...@d...piachu>
Użytkownik "wer" <b...@n...pl> napisał w wiadomości
news:f6e8fs$mbu$1@news.supermedia.pl...
> Greylisting jest najgorszą metodą filtrowania spamu. Z checią bym wyciął piłą
> mechaniczną serwery, na których jest używany. W skrajnych przypadkach mail
> może dochodzić kilkanaście godzin, a poza tym zapycha kolejki pocztowe.
Kiepski greylistyng owszem, niektorzy np nie maja swiadomosci
ze mail moze byc wysylany za kazdym razem z innego IP,
zwlaszcza w rozleglych systemach. I w takiej sytacji moze byc kilka godzin
opoznienia
Ale da sie to ominac bezproblemowo i czas dostarczenia zalezy wylacznie
od ponowienia serwera wysylajacego czyli przecietnie 5-15 minut
i to tylko za pierwszym razem przeciez,
> Mam cały czas przynajmniej kilkaset maili z greylistingu w kolejce.
I kilkaset maili w spoolu powoduje u Ciebie problem pocztowy?
Chyba przesadzasz. Moze maszyna za slaba?
A nie greylisting zly ;)
> W przypadku systemów, które mają kilka IP do wysyłki poczty (np. klaster) mail
> może długo się dobijać.
Jest sposob na serwery ktore maja po kilka (-dziesiat/-set/-tysiecy) IP np
google :)
za drugim razem wlazi jak nalezy i nikt nie czeka.
> Greylisting obciąża dodatkowo serwer nadawcy, więcej pamięci na kolejkę,
> więcej zużytego procesora na wysyłanie maila, więcej połączeń sieciowych. Ten
> sposób jest !@#$%^&.
znacznie mniej jak wpuszczanie miliona maili do systemu.
no chyba ze maszyna malowydajna to owszem, ale bez przesady,
chyba nie pracujesz na serwerach z celeronami ;)))
> Poza tym spamerzy coraz częściej stosują ponowną wysyłkę. Już zetknąłem się z
> czymś takim jak najpierw pusty mail, za 10 minut następny już z treścią.
Tym zajmuje sie juz inny zestaw filtrow :)
--
s.
-
30. Data: 2007-07-03 21:18:54
Temat: Re: home.pl ...
Od: Sławomir Bem <s...@d...piachu>
Użytkownik "wer" <b...@n...pl> napisał w wiadomości
news:f6ed7p$ohn$1@news.supermedia.pl...
>
> O ile nie masz w kolejce kilku tysiecy listow z roznych powodow. Dodatkowe
> kilkaset robi jednak roznice. Dlaczego moj serwer ma byc
jesli pracujesz na 486 (jak pisal Krzysztof) to faktycznie moze byc problem
jesli na jakims podwojnym XEONie z min 4G ramu, kilkaset nie robi zadnej roznicy
Jesli pracujesz na dobrym sprzecie masz chyba raczej problem "mentalny" jak
fizyczny ;))
> obciazony, bo ktos filtruje poczte?
To jest zwykla procedura protokolu SMTP tyle stosowana troche
czesciej (nagminnie), wiec powinienes brac to pod uwage przy
przydzielaniu mocy skoro decydujesz sie korzystac z tego protokolu.
Tak sie ponosi koszty spamu. Zal powinienes miec raczej do spamerow
a nie greylistujacych. Choc fakt ze ta metoda niedlugo sie skonczy.
> Pomijam juz telefony klientow, ktorym poczta nie dotarla w ciagu 5 minut do
> odbiorcy (sa tacy napalency).
No skoro sam zrobiles sobie piekielko............. ;)
Wyciag z regulaminu:
"W ........... dostępne są opcjonalnie
filtry pocztowe, blokujące niechcianą korespondencję
(spam). Wszelkie blokady nadawców, użytkownicy
dokonują samodzielnie i na własną odpowiedzialność.
............... nie ponosi żadnej odpowiedzialności
z powodu nie otrzymania przez odbiorcę ważnej
informacji (maila), w związku z aktywacją dowolnej
blokady nadawcy tej wiadomości, przez użytkownika."
Klient ma wolna reka w sprawie wlaczania kazdego z 9 filtrow
i dowolnej ich konfiguracji.
Zycie stalo sie prostsze. Nie mam takich telefonow :)))
I szczerze wspolczuje klopotow z upierdliwymi klientami.
--
s.