• Py-MailListStat 1.0
• example output for the amavis-user list
• [Update:] git repository

In den Logs von 6 Tagen finden sich knapp 43.000 Rejects aufgrund der HELO-Checks. Einträge {your,user,home}-xyz sind wieder zusammengefasst.

Hier die Top 30:

949 <Wireless_Broadband_Router>
874 <localhost>
654 <141.89.58.198>
282 <dsl88>
220 <home-xyz>
185 <stoichy>
173 <goofy-3vjq4dbxj>
136 <desktop>
110 <home>
95 <myrouter>
88 <wergvan>
86 <comp>
78 <zaya-67e169836b>
74 <user-xyz>
71 <alicegate>
70 <server>
69 <ppp>
69 <dsl85>
64 <dsl88.230>
60 <user>
59 <pc>
59 <experien-24444d>
55 <pool>
55 <bukhari-d1ce52f>
54 <dsl88.242>
51 [bare IP quad]
51 <principal>
51 <galactic-1ar4zw>
49 <mike-oli0wyh8z0>
44 <ruben-b26ivbdby>

Im Vergleich zu 2007 findet sich oft die Server-IP, dafür aber nur wenige andere IPs.

Bei weitem am häufigsten, aber nicht in der Liste, sind scheinbar zufällige Ketten von Großbuchstaben. Gut 32.000 HELOs, also über die Hälfte, matchen auf die RegExp [A-Z]{7,10}.

Verschiedene Spielereien mit logarithmischen Skalen führten zu keinem zufriedenstellenden Ergebnis (weil zu viele Messwerte zu oft Null sind), so dass ich die Anordnung der Graphen einmal umgedreht habe. Der klassische Fehlergraph (Spam,Bounces,Viruses) wird zum Anhängsel des Durchsatzgraphen (Send,Received); stattdessen besteht der neue “Fehlergraph” aus allen Rejects und der Aufschlüsselung in die Ablehnungsgründe (die dafür benutzten Regexp und Änderungen hatte ich mal als Patch online gestellt).

Wie das in Aktion aussieht kann auf meinem Mailserver angesehen werden, außerdem hier mal der Reject-Graph für 15 Monate:

Aber vielleicht kann ja doch jemand etwas hiermit anfangen, dem Skript mit dem ich meine Spamfilter trainiere.

Annahme ist, dass Spam- und Ham-Mails in zwei Ordnern gesammelt werden (bei mir sind das Cyrus-IMAP-Ordner) und dass CRM1114 mit reaver_cache benutzt wird. Für jede Mail in den Ordnern wird die CacheID gesucht und nachgesehen ob SpamAssassins Bayes-Filter bzw. CRM114 die Mail richtig klassifiziert haben. Alle nicht korrekt erkannten Mails werden schließlich gelernt.

Vorteil gegenüber normalem mailtrainer.crm und sa-learn ist die Benutzung des CRM114-Caches für SpamAssassin und die Optimierung auf nicht erkannte Mails.

Inzwischen habe ich zwei Nächte Indoor-Camping überstanden, in der zweiten sogar etwas schlafen können, die tollen Zeichnungen von Jojo bewundert, am FreeBSD-Stand mehrfach erzählt warum ich BSD besser finde als Linux, das luxuriöse Social Event (unter dem Motto “Innovation dank Freibier”) genossen, mein neues N810 praxisgetestet und oft demonstriert, eine neue minor-Version des CRM114-SA-Plugins veröffentlicht, hiermit auch den Bericht von grUNIX verlinkt, sowie gerade eben meinen Kurzvortrag zu CRM114 (hier die Folien) überstanden ;-)

Großes Lob und vielen Dank an das ganze Orga-Team, das lange dafür gearbeitet hat und es immer wieder schafft den wohl besten und bestorganisierten FLOSS-Event auf die Beine zu stellen.

Nachtrag: Eine der Zeichnungen habe ich hier eingefügt. Du übrigen finden sich bei grUNIX.

Mein Kurzvortrag zu crm114 wurde nämlich ins Programm der Chemnitzer Linuxtage aufgenommen. :) Da packt mich ja glatt der Ehrgeiz bis dahin noch ein oder zwei ewige ToDo-Items anzugehen wie etwa die Einbindung in das neue pluginisierte Bayes-System.

Bisher hatte ich mir Zeilen mit geringer Ereignisanzahl per grep rausgefiltert, aber nun hab ich mir mal den Quellcode angesehen und es im Programm selbst geändert.

Vorher:

Sender address rejected: Domain MX in RFC 1918 private network (total: 15)
   13   teresa.albuquerque@moviflor.net
    1   airborne6@sarasotabluesfest.com
    1   dhineshqeq@meridia.org
Sender address rejected: Domain MX in broadcast network (total: 4)
    1   jaimehspice@apoio.biz
    1   jubalkiang00@2-getpaid.com
    1   vispi9ramana8@blinkerne.com
    1   muhammad5debasish@cathousemails.com

Nachher:

Sender address rejected: Domain MX in RFC 1918 private network (total: 15)
   13   teresa.albuquerque@moviflor.net
Sender address rejected: Domain MX in broadcast network (total: 4)

Hier liegt der Patch für pflogsumm-1.1.1. Um die Filter anzupassen können die Variablen $abs_limit und $rel_limit geändert werden (im Patch in Zeile 22f).

Update: Zur Einsendung an James Seymour hab ich’s noch etwas verschönert und aus den zwei Variablen Kommandozeilen-Parameter gemacht. Hier liegt der neue Patch für pflogsumm-1.1.1.

pflogsumm wollte ich beibringen die Logzeilen von postgrey und policyd-weight besser einzuordnen. Postfix gibt den Meldungen der externen policy-daemons nämlich das Präfix “NOQUEUE: reject: RCPT from“. Für pflogsumm heißt das: der Fehler wird durch die Empfängeradresse verursacht, also wird auch die Zusammenfassung nach Empfangsadressen sotiert. — Als Admin interessiert mich die aber nicht; ich will die Client-IP haben, denn an der hängen alle Fehlerquellen (RBL-Einträge, kaputtes HELO, zu schnelle Mailqueue, etc.).

Vorher:


Recipient address rejected: Greylisted (total: 209)
13 fsr-powi@vefa.uni-potsdam.de
12 bugs-gentoo@blubbmon.de
12 fsr-informatik@vefa.uni-potsdam.de
10 amnesty@mail.asta.uni-potsdam.de
10 fsr-avl@vefa.uni-potsdam.de
[...]


Nachher:


Recipient address rejected: Greylisted (total: 93)
33 brasiltelecom.net.br
24 codetel.net.do
9 hawaiiantel.net
[...]


Der Patch für pflogsumm-1.1.1 ist recht simpel und fügt für diesen Fall eine neue Regexp ein.

Mit Mailgraph wollte ich verschiedene Reject-Gründe einzeln zählen lassen um zu sehen warum überhaupt abgelehnt wird (und damit auch welchen quantitativen Einfluss z.B. RBLs und Greylisting haben). Dafür lasse ich eine neue RRD-Datei anlegen und definiere eine Handvoll Kategorien mit Regexpes um die Reject-Logzeilen zu klassifizieren.

Weil ich in der Visualisierung keinen dritten Graphen haben will, hab ich die Virus/Spam/Bounce-Graphik extrem umgebaut. (Code-Schnipsel für eine extra Rejects-Graphik hab ich noch irgendwo; ist aber nicht im Patch.)

Hier ist der Patch für mailgraph-1.14. Wie der entstehende Graph aussieht ist auf diesem Mailserver zu bewundern.

Generelles Problem solcher Erweiterungen ist natürlich die Zahl der verschiedenen Tools und Logmeldungen, sowie die Unmöglichkeit alle möglichen Formate einzeln zu erfassen. (Jim Seymour sagt in der pflogsumm-FAQ z.B. explizit, dass er in pflogsumm keine Zusatzmeldungen berücksichtigen wird.)