Makura no Soshi » E-Mail

Text::AI::CRM114

Martin — Tue, 22 May 2012 08:32:27 +0000

I released my first CPAN module.

I finally played with libcrm114, a C library that implements several text classification algorithms. It is a potential replacement for the mailreaver.crm tool, which is the basis for my SpamAssassin plugin.

Having a C library removes the need to fork a crm interpreter process (and in most cases also the need to read the learned feature data) for every single classification; it also enables the inclusion into other languages (so far I know modules for PHP and Python – now my module seems to be the first one for Perl).

A first and unprofessional benchmark against my mailbox confirms the expected performance improvement. I use Text::AI for the old fork-interpret-model (source) and Text::AI::CRM114 for the new library in-memory model (source).

~> time perl test_ai_crm114.pl
classified 9111 texts in 100.86 seconds (11.070 millisec per text)
Spam Texts: 68
 Ham Texts: 9043
30.717u 64.212s 1:41.50 93.5%   200+8161k 9361+0io 0pf+0w

~> time perl test_text_ai_crm114.pl
classified 9111 texts in 7.89 seconds (0.866 millisec per text)
Spam Texts: 68
 Ham Texts: 9043
6.719u 0.485s 0:08.41 85.4%     9+2691k 0+0io 0pf+0w

my mailserver grows up

Martin — Mon, 21 May 2012 09:31:20 +0000

Yay, I received my 200th spam mail after I set up my own mailserver in January. – Now my SpamAssassin can use its Bayes classifier. %-)

Procrastination @ work

Martin — Tue, 19 Apr 2011 10:58:23 +0000

erfassen wir doch mal die SpamAssassin-Scores…

Mailing List Statistics

Martin — Sat, 06 Mar 2010 17:39:42 +0000

Recently a friend showed me the tool MailListStat to generate mailing list statistics and I thought it would be much easier to implement this in Perl or Python instead of C.
So I tried and the result is Py-MailListStat 1.0 (I am not very creative with names). Maybe someone finds it useful…

HELO-Check, die zweite

Martin — Wed, 22 Apr 2009 23:37:26 +0000

Weil ich letztens auf HELO-Checks angesprochen wurde habe ich mir nochmal angesehen was ich damit so alles filtere. Im Dezember 2007 hatte ich schonmal eine Stichprobe beschrieben und versuche nun möglichst gleich auszuwerten.

In den Logs von 6 Tagen finden sich knapp 43.000 Rejects aufgrund der HELO-Checks. Einträge {your,user,home}-xyz sind wieder zusammengefasst.

Hier die Top 30:

949 
874 
654 <141.89.58.198>
282 
220 
185 
173 
136 
110 
95 
88 
86 
78 
74 
71 
70 
69 
69 
64 
60 
59 
59 
55 
55 
54 
51 [bare IP quad]
51 
51 
49 
44

Im Vergleich zu 2007 findet sich oft die Server-IP, dafür aber nur wenige andere IPs.

Bei weitem am häufigsten, aber nicht in der Liste, sind scheinbar zufällige Ketten von Großbuchstaben. Gut 32.000 HELOs, also über die Hälfte, matchen auf die RegExp [A-Z]{7,10}.

Spam-Pause

Martin — Tue, 25 Nov 2008 00:11:03 +0000

Am Wochenende blieb einfach der Spam weg. Ich fürchtete schon Fehler im DNS oder Paketfilter… aber der RackBlogger und Heise beobachteten das gleiche Phänomen und heute hat sich alles wieder normalisiert:

mailgraph und rejects

Martin — Sun, 14 Sep 2008 15:26:36 +0000

Ich hab mal wieder an meinem mailgraph gedreht weil seit ca. einem Jahr die Zahl der Rejects um ein vielfaches größer ist als die Zahl der angenommenen Mails.

Verschiedene Spielereien mit logarithmischen Skalen führten zu keinem zufriedenstellenden Ergebnis (weil zu viele Messwerte zu oft Null sind), so dass ich die Anordnung der Graphen einmal umgedreht habe. Der klassische Fehlergraph (Spam,Bounces,Viruses) wird zum Anhängsel des Durchsatzgraphen (Send,Received); stattdessen besteht der neue “Fehlergraph” aus allen Rejects und der Aufschlüsselung in die Ablehnungsgründe (die dafür benutzten Regexp und Änderungen hatte ich mal als Patch online gestellt).

Wie das in Aktion aussieht kann auf meinem Mailserver angesehen werden, außerdem hier mal der Reject-Graph für 15 Monate:

Scripte

Martin — Wed, 19 Mar 2008 00:28:32 +0000

Eigentlich veröffentliche ich ungern Skripte. Das hat mehrere Gründe: zunächst sind die meisten sehr simpel und alle die sich auskennen sollte sie schnell selbst schreiben können (und wer sich nicht auskennt sowieso erstmal die Doku lesen); verbunden damit ist die Versuchung ein Skript als black box auszuführen, ohne wenigstens einmal reinzuschauen. Bei Admin-Funktionen kann dann schon ein kleiner Fehler oder ein unterschiedlicher Pfad sehr gefährlich sein. Zuguterletzt sehen meine Skripte auch nie so professionell aus wie dieses example of script development :-)

Aber vielleicht kann ja doch jemand etwas hiermit anfangen, dem Skript mit dem ich meine Spamfilter trainiere.

Annahme ist, dass Spam- und Ham-Mails in zwei Ordnern gesammelt werden (bei mir sind das Cyrus-IMAP-Ordner) und dass CRM1114 mit reaver_cache benutzt wird. Für jede Mail in den Ordnern wird die CacheID gesucht und nachgesehen ob SpamAssassins Bayes-Filter bzw. CRM114 die Mail richtig klassifiziert haben. Alle nicht korrekt erkannten Mails werden schließlich gelernt.

Vorteil gegenüber normalem mailtrainer.crm und sa-learn ist die Benutzung des CRM114-Caches für SpamAssassin und die Optimierung auf nicht erkannte Mails.

Chemnitzer Linuxtage 2008

Martin — Sun, 02 Mar 2008 14:29:40 +0000

Hier das obligatorische “Hallo Welt” vom CLT08, der/die jetzt schon die zehnten und bisher größten Chemnitzer Linuxtage sind.

Inzwischen habe ich zwei Nächte Indoor-Camping überstanden, in der zweiten sogar etwas schlafen können, die tollen Zeichnungen von Jojo bewundert, am FreeBSD-Stand mehrfach erzählt warum ich BSD besser finde als Linux, das luxuriöse Social Event (unter dem Motto “Innovation dank Freibier”) genossen, mein neues N810 praxisgetestet und oft demonstriert, eine neue minor-Version des CRM114-SA-Plugins veröffentlicht, hiermit auch den Bericht von grUNIX verlinkt, sowie gerade eben meinen Kurzvortrag zu CRM114 (hier die Folien) überstanden ;-)

Großes Lob und vielen Dank an das ganze Orga-Team, das lange dafür gearbeitet hat und es immer wieder schafft den wohl besten und bestorganisierten FLOSS-Event auf die Beine zu stellen.

Nachtrag: Eine der Zeichnungen habe ich hier eingefügt. Du übrigen finden sich bei grUNIX.

gut gefüllte ToDo-Queue

Martin — Tue, 29 Jan 2008 14:26:27 +0000

Kaum ist eine Deadline vorbei und das zugehörige Referat gehalten, da kündigt sich auch schon die nächste Arbeit an.

Mein Kurzvortrag zu crm114 wurde nämlich ins Programm der Chemnitzer Linuxtage aufgenommen. :) Da packt mich ja glatt der Ehrgeiz bis dahin noch ein oder zwei ewige ToDo-Items anzugehen wie etwa die Einbindung in das neue pluginisierte Bayes-System.