Makura no Soshi

… erkennt man heutzutage nicht nur an der DSL-Nichtverfügbarkeit, sondern auch an den großen weißen Flächen in OpenStreetMap.org :-)

Ich habe diese Tage erst gesehen, dass das BSI im Dezember eine Studie zur Verarbeitung von Log- und Monitoringdaten [Link aktualisiert, 12.8.09] veröffentlicht hat. Der Text ist geeignet um sich in das Thema einzulesen; es werden einige grundlegende Probleme erläutert und verbreitete Produkte kurz vorgestellt. Allerdings liegt der Fokus nicht allein auf Open-Source-Lösungen; es geht um heterogene Daten und (auch) um “die großen” Monitoringprogramme OpenView und Tivoli, die für mich bisher kein Thema waren.

Für alle, die eher im Bereich “ein paar Unix-Server” denken verlinke ich hier auch meine Folien über Syslog (pdf) vom CLT 2007. ;-)

Eigentlich veröffentliche ich ungern Skripte. Das hat mehrere Gründe: zunächst sind die meisten sehr simpel und alle die sich auskennen sollte sie schnell selbst schreiben können (und wer sich nicht auskennt sowieso erstmal die Doku lesen); verbunden damit ist die Versuchung ein Skript als black box auszuführen, ohne wenigstens einmal reinzuschauen. Bei Admin-Funktionen kann dann schon ein kleiner Fehler oder ein unterschiedlicher Pfad sehr gefährlich sein. Zuguterletzt sehen meine Skripte auch nie so professionell aus wie dieses example of script development :-)

Aber vielleicht kann ja doch jemand etwas hiermit anfangen, dem Skript mit dem ich meine Spamfilter trainiere.

Annahme ist, dass Spam- und Ham-Mails in zwei Ordnern gesammelt werden (bei mir sind das Cyrus-IMAP-Ordner) und dass CRM1114 mit reaver_cache benutzt wird. Für jede Mail in den Ordnern wird die CacheID gesucht und nachgesehen ob SpamAssassins Bayes-Filter bzw. CRM114 die Mail richtig klassifiziert haben. Alle nicht korrekt erkannten Mails werden schließlich gelernt.

Vorteil gegenüber normalem mailtrainer.crm und sa-learn ist die Benutzung des CRM114-Caches für SpamAssassin und die Optimierung auf nicht erkannte Mails.

[Update 2014:] Hier ist meine aktuell laufende Version für Dovecot.

Ich habe eben gelesen dass Joseph Weizenbaum gestorben ist. :-(

Ich hatte das Glück ihm in den letzten Jahren bei mehreren Auftritten zuhören zu können. Überragendes Thema dabei war immer die Hoffnung auf Vernunft und Menschlichkeit, um dem Wahnsinn unserer Zeit entgegenzutreten.

Besonders für uns Informatiker bleibt seine Mahnung:

Was sollen wir damit machen? Ich würde sagen, ihr solltet aufhören, euch mit den vergifteten Früchten des Wahnsinns vollzufressen.

Hier das obligatorische “Hallo Welt” vom CLT08, der/die jetzt schon die zehnten und bisher größten Chemnitzer Linuxtage sind.

Inzwischen habe ich zwei Nächte Indoor-Camping überstanden, in der zweiten sogar etwas schlafen können, die tollen Zeichnungen von Jojo bewundert, am FreeBSD-Stand mehrfach erzählt warum ich BSD besser finde als Linux, das luxuriöse Social Event (unter dem Motto “Innovation dank Freibier”) genossen, mein neues N810 praxisgetestet und oft demonstriert, eine neue minor-Version des CRM114-SA-Plugins veröffentlicht, hiermit auch den Bericht von grUNIX verlinkt, sowie gerade eben meinen Kurzvortrag zu CRM114 (hier die Folien) überstanden ;-)

Großes Lob und vielen Dank an das ganze Orga-Team, das lange dafür gearbeitet hat und es immer wieder schafft den wohl besten und bestorganisierten FLOSS-Event auf die Beine zu stellen.

Nachtrag: Eine der Zeichnungen habe ich hier eingefügt. Du übrigen finden sich bei grUNIX.

Das schön pathetische “Yes we can”-Video haben inzwischen sicher alle mal gesehen. Noch besser ist danach dieser Remix (via L.Lessig).

Außerdem empfehlenswert: Die Serie “We Need Girlfriends”. Die erste Serie ist seit einigen Monaten abgeschlossen, aber jetzt werden nach und nach Directors’ und Actors Commentaries veröffentlicht (Media Feed).

Ein Problem mit rrdtool ist die Skalierung der X-Achse, die so gelegt wird dass alle Datenpunkte gut in den Graphen passen. — Ist erstmal ein sinnvolles Verhalten, das gut implementiert ist und für viele Daten gute Ergebnisse liefert. Es stört aber wenn die Daten große Schwankungen und Ausreißer enthalten. Dann reicht z.Bsp. eine Lastspitze oder das Backup über’s Netz um den Graphen unbrauchbar zu machen, weil außer der Lastspitze garnichts mehr zu erkennen ist.

Um dem abzuhelfen hatte ich sogar mal die Skalierungsfunktion dahingehend geändert, dass nicht der Maximalwert, sondern das 99. Perzentil die Obergrenze bestimmt; dass also die größten Werte bei der Skalierung ignoriert werden. Das war aber alles nicht so schön und lag seitem in der Kategorie “Code-Schnipsel den ich mal überarbeiten muss bevor ich ihn vielleicht als Patch einreiche”.

Zu einer viel bessere Lösung führte mich die Tage ein Hinweis von Tobi Oetiker auf der Mailingliste: mit VDEF:var=datum,99,PERCENT lässt sich der Wert auch berechnen und dann mit PRINT ausgeben. Read the rest of this entry »

• Weils so schön zu den aktuellen Wahlpannen passt: The Diebold Variations
• Was ist eigentlich Programmieren?
• Hörtip: Science & the City: The Unnatural History of the Sea
• lustige Netz-Fundstücke
• und noch ein Cartoon