SPAM a boj proti němu Copyright© 2004 Jan Čurn http://jan.curn.info

Osnova Definice SPAMu Jak vypadá SPAM Původ SPAMu a co způsobuje Prevence a osvěta Legislativa Technické prostředky boje proti SPAMu Budoucnost

Co je to SPAM ? SPAM = Spicy Meat and Ham (pikantní maso se šunkou) It's a luncheon meat, kinda pink, comes in a can, made by Hormel. Most Americans intuitively, viscerally associate "Spam" with "no nutritive or aesthetic value" though it is still relatively popular (especially in Hawaii) and can be found in almost any grocery store. Udává se že slovo SPAM vzniklo v roce 1937

Výraz SPAM Computer group lab at the University of Southern California gave Internet SPAM that name because it has many of the same characteristics as the lunchmeat Spam: Nobody wants it or ever asks for it No one ever eats it; it is the first item to be pushed to the side when eating the entree Sometimes it is actually tasty, like 1% of junk mail that is really useful to some people

Definice SPAMu Webster's dictionary: Unsolicited e-mail, often of a commercial nature, sent indiscriminately to multiple mailing lists, individuals, or newsgroups; junk e-mail. Definice Nejvyššího soudu státu Washington: The term 'spam' refers broadly to unsolicited bulk e-mail (or ''junk e-mail'), which 'can be either commercial (such as an advertisement) or noncommercial (such as a joke or chain letter).'

Technická definice SPAMu Zpráva je považována za SPAM, pokud splňuje všechny následující charakteristiky: Příjemcova osobnost a obsah zprávy spolu nesouvisí, protože ta je obdobně použitelná pro mnoho jiných potenciálních příjemců Příjemce prokazatelně neprojevil jasný a stále odvolatelný souhlas, aby mu zpráva byla poslána Zaslaní a příjem zprávy se příjemci jeví jako udělení nepřiměřeného prospěchu odesílateli

SPAM = Nevyžádaný hromadný email Nevyžádaný znamená, že příjemce prokazatelně neprojevil souhlas s odesláním emailu Hromadný znamená, že email je posílán jako část většího souboru emailů, které všechny mají v podstatě stejný obsah Nevyžádaný email je obvyklý email (první kontaktní dotaz, nabídka práce či obchodu, atd.) Hromadný email je obvyklý email (diskusní skupiny, novinky, atd.) POUZE kombinace nevyžádaný a hromadný je SPAM

Jak vypadá SPAM Většina z nás ho dostává a hned rozezná Formální popis přesto není jednoduchý, to by pak ochrana proti němu byla jednoduchá Právě v jeho proměnlivosti je podstata problému Příjemci se brání, ale SPAMeři vymýšlejí stále nové formy, aby příjemce přelstili

Kdy to vše začalo Za první SPAM se považuje reklama na Green Card Lottery (tedy losování pracovních víz do USA) rozesílaná roku 1994 Pro zajímavost - průkopníky SPAMu tehdy byli manželé-právníci

Historický vývoj

Nárůst v letech 2002-2004

Ukázka SPAMu

Ukázka SPAMu

Ukázka SPAMu

Ukázka SPAMu

Ukázka SPAMu

Původ SPAMu Komerční – různé nabídky (od levných náplní do tiskáren přes nabídky na hubnutí a Viagru až po zaručené zvětšení penisu minimálně o dva palce) Odhaduje se, že přes 90% veškerého SPAMu odesílá pouze 200 skupin pocházejících z USA, nyní působících hlavně v Číně, Východní Evropě a Argentině Uživatelský – různé řetězové dopisy (pokud chceš mít štěstí, pošli tento dopis X lidem do Y dnů) a tzv. hoaxy (smaž kernel32.dll, obsahuje virus) Viry – kapitola sama pro sebe

Odkud SPAM přichází Většina SPAMu přichází z následujících zdrojů: tzv. bulletproof servery - provozovány SPAM skupinami, připojeny pomocí ISP, kteří s tím nemohou nebo nechtějí něco udělat samotní uživatelé – viry a hoaxy freemail servery, které to bohužel často umožňují - daný účet bývá použit pouze jednou open SMTP relays - umožňují přenos zpráv prakticky od kohokoliv komukoliv zneužitelné form-mail cgi-bins - některé chybně napsané webové stránky umožňují poslat zprávu na jakoukoliv adresu open proxy servery – systémy umožňující připojení do nějaké sítě prakticky z jakékoli adresy, tím umožňují maskování skutečného původu zprávy V případech 3) až 6) se často jedná pouze o chybu konfigurace daných serverů

Co to přináší odesílatelům ? Firmy či jednotlivci – finanční přínos (levná a účinná reklama, propagace výrobků, …) Nezodpovědní či nevzdělaní uživatelé – přínos je otázkou pro psychology I když většina uživatelů SPAM hned maže, několik lidí se vždycky chytne (např. na 100.000.000 rozeslaných zpráv se může nachytat 50.000 lidí  obrovský zisk)

Co to přináší příjemcům ? Ztráta produktivity (čas pro mazání a třídění pošty) Zvýšení ceny za připojení (přímé i nepřímé) Nevhodný obsah (porno, …) Ztráta vyžádaných zpráv (přeplnění schránky, zásahy filtru, …) Podle studie Evropské komise jsou roční náklady uživatelů v EU cca 10 mld. EUR ročně Odhaduje se, že celkový podíl SPAMu v elektronické poště tvoří až 80%

Techniky obrany proti SPAMu Prevence a osvěta Legislativa Technické prostředky Změna filozofie elektronické pošty

Prevence a osvěta – Proč? Cíl je znemožnit SPAMerům získávání (aktivních) adres Jak se adresy získávají: pokročilé webové prohledávače (roboty, crawlery) směna či prodej přímo od uživatelů při různých registracích Problémy: další náklady na straně poškozených neochota ze strany uživatelů měnit své návyky

Prevence a osvěta Nedostáváte dost SPAMu? Zde je 10 zaručených způsobů, jak to změnit (zdroj FrontBridge Corp.): Umístěte svou emailovou adresu na webovou stránku s vysokým provozem Pošlete příspěvek (či na nějaký odpovězte) na Usenet Pošlete příspěvek (či na nějaký odpovězte) do veřejné webové diskusní skupiny Zaregistrujte svou adresu na webové stránce neseriozní společnosti, která prodává své seznamy Zaregistrujte svou adresu na webové stránce, jejíž provozovatel prodává seznamy Zaregistrujte svou adresu na stránce s pornem Odpovězte na opt-out email nebo klikněte na opt-out odkaz ve zprávě (unsubscribe) Používejte adresu s obvyklým jménem, které jde snadno uhodnout (bob@name.com) Zaregistrujte si doménové jméno Pošlete svou adresu do chatu

Prevence a osvěta Používaní různých adres pro různé účely (jedna adresa pro blízké přátelé či spolupracovníky, jiná pro registrace apod.) Neumísťovat adresu tak, jak je, na web (obrázky, bob at corp.com apod.) Užívat moderní emailové klienty, které například umožňují nestahovat obrázky z externích zdrojů (web beacons) Nepoužívat diakritiku a jiné „divné“ znaky (Ahoj Tom@$M) ve zprávách …

Legislativa – Proč? Riziko (vysokého) trestu může některé SPAMery odradit Problémy: rozesílání ze serverů v zemích, kde odpovídající legislativa neexistuje obtížné dokazování skutečného původu vývoj legislativy je mnohem pomalejší než vývoj SPAMu

Legislativa v ČR Zákon č. 40/1995 Sb., o regulaci reklamy (resp. novela Zákon č. 138/2002 Sb. v účinnosti od 1.6.2002) Klauzule "Zakazuje se (...) šíření nevyžádané reklamy, pokud vede k výdajům adresáta nebo pokud adresáta obtěžuje.„ Zákon č. 480/2004 Sb., o některých službách informační společnosti přísnější než standard EU povoluje zasílat obchodní sdělení pouze podle tzv. systému opt-in, tedy pouze s výslovným souhlasem adresáta nevyžádaná obchodní sdělení návrh zákona zakazuje pokuta až 10.000.000,- Kč

Legislativa v USA Celoamerický zákon Staví mimo zákon řadu obtěžujících podob hromadné reklamní internetové pošty Pověřuje federální úřady, aby vyhotovily registr těch, kdo si nepřejí nevyžádanou poštu přijímat. Podobný rejstřík "Do Not Call" již funguje u těch, kdo si nepřejí být obtěžováni reklamními telefonáty Až 5 let vězení nebo pokuta až 2.000.000,- USD Problémy: podle skeptiků málo přísné stále umožňuje rozesílání SPAMu pokud příjemce nevysloví jasný nesouhlas (opt-out systém)

Technické prostředky – Proč? Cílem je zamezit samotné rozesílání zpráv, doručení příjemci a ověřování, že daná adresa je aktivní Problémy: SPAMeři stále vymýšlejí nové formy a způsoby přenos vyžádané zprávy může být znemožněn

Filtrace zpráv Filtry na straně mailserverů i klientů Zprávy se filtrují na základě: adresy odesílatele hlavičky, předmětu a obsahu zprávy formátu zprávy detekce opakovaného výskytu stejné či podobné zprávy dalších kritérií

Realtime Blackhole Lists (RBLs) Databáze adres vedené různými organizacemi podle různých kritérií Open proxies, open relays, neseriózní mailing lists, dynamic user lists, … Například MAPS (Mail Abuse Prevention System) dobrovolníci zasílají do této databáze adresy, ze kterých jim opakovaně přišel SPAM služba je placená Problémy: databáze často neaktuální, adresa se do nich dostane velmi jednoduše, její vymazání bývá složitější přenos přes servery z těchto databází nemusí být vždy nežádoucí SPAMeři dokáží rozesílat zprávy i jinak celková účinnost pouze 8-12%

Open relays Open mail relay nastane pokud odesílatel a zároveň příjemce nejsou z domény mailserveru Zneužít se dají tak, že je obrovské množství zpráv předáváno pomocí takovýchto jinak nezúčastněných serverů Dříve to bylo užitečné, dnes je to kvůli šíření SPAMu problém ORDB.ORG udržuje veřejnou databázi těchto open relays

Blokování open relays Uživatel pošle mail na odchozí SMTP server Odchozí SMTP server naváže spojení s cílovým SMTP serverem Cílový server se dotáže na odchozí server do ORDB ORDB odpoví, zda-li je odchozí server open relay či ne Cílový server podle odpovědi z ORDB přenos provede či odmítne Pokud byl přenos odmítnut, odchozí server pošle uživateli chybovou zprávu Pokud byl přenos povolen, provede se ORDB server odesílatel 1) 6) 4) 3) odchozí SMTP server cílový SMTP server 5) 2) 7) příjemce

Blokování TCP/UDP portu 25 Na tomto portu běží SMTP, při komunikaci mezi servery se jiný nepoužívá (IANA.ORG) Někteří ISP (AT&T, MSN, CableOne, …) se rozhodli TCP/UDP downstream na tomto portu zcela blokovat Běžným uživatelům (upstream) to neškodí Pokud potřebujete provozovat SMTP mail server, ISP vám přidělí statickou IP adresu a server prověří (zda-li není open relay apod.) a provoz povolí Toto opatření globálně blokuje cca 15% SPAMu

Filtrace na základě adresy odesílatele Umožňuje většina emailových klientů Problémy: je třeba interakce s uživatelem adresa je většinou pro rozeslání SPAMu užita pouze jednou

Filtrace na základě domény odesílatele Umožňuje většina emailových klientů, lze realizovat i na mailserveru Jiná možnost je podle typu instituce povolit pouze určité domény, ze kterých se bude příjímat Problémy: může znepříjemnit život obyčejným uživatelům nelze blokovat některé domény, ze kterých také SPAM pochází (yahoo.com, hotmail.com, msn.com), užívá je mnoho lidí

Lookups Reverse DNS Lookup – přijímající mailserver ověřuje, zda-li IP adrese odesílajícího mailserveru odpovídá doména, která je uvedena v poli from Problém: časově náročné, mnoho falešných poplachů DNS (MX) Record Lookup – pokud přijde mail např. od user@domain.com, přijímající mailserver ověří pomocí forward DNS lookup, zda-li existuje domain.com (případně zda-li má odpovídajcí MX záznam) HELO Lookup – přijímající mailserver pomocí SMTP příkazu HELO zjistí jméno odesílajícího mailserveru, provede jednoduchý forward DNS lookup a porovná získanou adresu s IP adresou odesílatele

Nové Reverse Lookup Systémy Vylepšují Reverse DNS Lookup, v principu se jedná o to, že každá doména si nadefinuje, ze kterých IP adres může odcházet její pošta. Jedná se pokusy o nové internetové standardy. Reverse MX – speciální záznamy v DNS, pro IP adresu zjistí poštovní domény, které z ní mohou odcházet viz http://www.ietf.org/internet-drafts/draft-danisch-dns-rr-smtp-04.txt Yahoo! Domain Keys – správce poštovní domény si vygeneruje veřejný a privátní klíč, do hlavičky legitimních zpráv přidá privátním klíčem vytvořený podpis zprávy. Ve speciálních DNS záznamech je veřejný klíč pro takovou doménu. Přijímací mailserver podle pole from načte tento DNS záznam a ověří jím, zda-li zpráva odpovídá podpisu a nebyla pozměněna viz http://antispam.yahoo.com/domainkeys

Nové Reverse Lookup Systémy Designated Mailers Protocol příchozí mailserver z domény v poli from a z IP adresy odesílajícího mailserveru sestaví speciální DNS dotaz pokud DNS odpoví „yes“, mail projde, pokud „no“, mail nepřijme viz http://www.pan-am.ca/dmp Další podobné techniky Microsoft’s Sender ID (http://www.microsoft.com/mscorp/twc/privacy/spam/senderid/overview.mspx/) Sender Permitted From (http://spf.pobox.com/)

Filtrace na základě hlavičky, předmětu a obsahu zprávy Velmi účinná obrana, realizace na klientech i serverech Do této kategorie spadají i antiviry Word Filters: nejjednodušší druh, avšak stále efektivní blokují všechny zprávy, které obsahují fráze ze seznamů (itemsets) Rule-based Scoring Systems: také kontrolují výskyt frází, avšak používají sofistikovanější hodnotící pravidla užívají metod umělé inteligence každá zpráva je ohodnocena například open source SpamAssassin, úspěšnost až 90%

Filtrace na základě hlavičky, předmětu a obsahu zprávy Bayesovské klasifikátory: zprávy posuzuje na základě podobnosti s již došlými, ručně označenými za SPAM pro práci je třeba zhruba 200 SPAMů a 200 legitimních zpráv výpočetně náročné, nicméně až 99% úspěšnost Problémy: na serveru – čím větší a rozmanitější je chráněná skupina, tím musí být itemsety menší (účinnost 15-25%) na klientech – vysoká cena, nutná spolupráce uživatelů vždy existuje možnost falešného poplachu

Co na to SPAMeři? Text zpráv prokládají mezerami či jinými znaky (r-a-t-e-s, cred i t, …) Některá písmena nahrazují jejich optickými ekvivalenty (Vi@gra, VIAGR4,V!AGRA) Do zpráv přidávají matoucí text, často ve stejné barvě jako má pozadí (díky možnosti užít HTML) Používání obrázků (ve formě MIME přílohy) Používají složité HTML formátování které znesnadňuje analýzu

Filtrace na základě formátu zprávy Většinou použita nějaká forma heuristické detekce a váhy různých příznaků Kontroluje se: složitost použitého HTML výskyt jiných znaků než anglické abecedy Problémy: užití diakritiky ve zprávách někteří klienti do textu vkládají tyto znaky Účinnost 50-95%, počet falešných poplachů řádově 0,01%

Filtrace na základě opakovaného výskytu stejné zprávy Lze užít pouze ve větších organizacích, kde je vysoká pravděpodobnost příchodu stejného či podobného SPAMu Problémem jsou opět různé diskusní skupiny Zajímavé je např. řešení společnosti Brightmail: po celém světě rozmístěna síť senzorů, které vyhodnocují a detekují „vlny“ rozesílaného SPAMu generují se definice zpráv, ty jsou poté odeslány filtrům u zákazníka po odeznění vlny jsou definice zrušeny, tím se udržuje vysoký výkon systému účinnost 90-98%, počet falešných poplachů řádově 0,0001% velice drahé

Další metody Honeypots (Hashing Systems, Fingerprinting) po internetu jsou rozloženy fiktivní emailové schránky, pokud na ně přijde email, jedná se pravděpodobně o SPAM systémy generují hash či otisk charakteristik zprávy lokální systémy si stahují definice a SPAM rozpoznají Problém: SPAMeři jednotlivé zprávy pozměňují

Další metody Challenge/Response Systems systém (klient/server) obsahuje seznam povolených adres pokud přijde zpráva od neznámého odesílatele (klienta), je pozdržena odesílateli je odeslán challange, tj. úkol který musí splnit typické úkoly jsou otevřít URL či do poslat zpět zprávu obsahující speciální kód (např. z obrázku) člověk to většinou udělá, robot (zatím) nikoli např. systémy TMDA, klient The Bat, Spam Arrest, MailBlocks, … problémy: deathlock pokud oba uživatelé používají takový systém – lze řešit mailing lists, konference, … – lze řešit různí lidé používají různé klienty (textové, grafické, …) – dalo by se řešit tak, že odesílatel přidá jaký případný challange chce řešit (textový, obrázkový, …)

Další metody Computational Challenge Systems princip je obdobný, rozdíl je v tom, že není třeba lidský zásah neznámému odesílateli je poslán časově náročný úkol (algortimus, výpočet, …) ten ho musí korektně vyřešit, aby mail prošel Problémy: zpomalení výkonnosti systémů mailing lists, konference, … někteří SPAMeři mají rozsáhlou distribuovanou výpočetní infrastrukturu (díky virům – např. Sobig, ale i legálně)

Změna filozofie elektronické pošty Bill Gates na Ekonomickém fóru v Davosu uvedl následující možnosti: Challenge/Response systémy Použití elektronických podpisů každý má soukromý šifrovací klíč, veřejný dešifrovací klíč jen takto lze jednoznačně identifikovat odesílatele, tedy i původce SPAMu další výhody Zpoplatnění emailů inkasuje příjemce

Závěr Obecně se má za to, že problém SPAM bude vyřešen do několika málo let Nejspíše se prosadí Challenge/Response systémy nevyžadují nové (zásadní) standardy stačí vylepšit stávající klienty uživatelé to přijmou Do té doby je třeba používat vhodnou kombinaci mnoha technických prostředků, jen tak lze zajistit maximální spolehlivost filtrování a také přinutit správce serverů k větší odpovědnosti

Zdroje http://vc.vscht.cz/ http://www.ordb.org/ http://sourceforge.net/projects/tmda http://www.frontbridge.com/ http://www.hormel.com/ http://www.mail-abuse.com/ http://www.symantec.com/ http://spamassassin.apache.org/ http://www.barracudanetworks.com/ http://www.iana.org/ http://www.ndo.com/ …