mecker. mecker. mecker.

Linkschleuder #16

Fri, 03 Feb 2012 09:34:00 GMT

Zen Coding – a new way of writing HTML and CSS code, Sublime Text 2 Plugin
sshuttle – transparenter Proxy trifft VPN, ohne viel basteln und ärgern. Einfach SSH.
Ziproxy – ein zippender Proxy, der allerdings nicht alle externen Quellen in eine Datei packt. Dann wäre es für’s Handy praktisch gewesen.
gitfinger – Stalking auf GitHub.
python for humans – ein sehr witziger Rant über Python und was die Community besser machen kann.
How to read Haskell like Python
crate.io – ein PyPi-Mirror, der quelloffen ist und mehr Features bietet als PyPi.
mer – eine offene, optimiert für Mobilgeräte, Distribution á la MeeGo mit Fokus auf Qt und HTML5.
plasma active – ein KDE Projekt für Tablets und Mobilgeräte, der doch schon etwas besser als Android aussieht. Ein weiterer Beweis, dass KDE verdammt modular ist.
goaccess – ein (Apache) Common Logfile Reader. Mit ncurses (!) und für große Bildschirme optimiert! Beispiel?
HTML5 for Publishers – kostenlos in PDF, epub und Mobi (auch für Kindle) nach Registrierung

Linkschleuder #15

Thu, 02 Feb 2012 20:56:00 GMT

Diesmal etwas *hust* sehr *hust* Mac-lastig.

Nativa – der Client für rtorrent schlechthin.
TunnelerX – und der Vorgänger Tunneler, der ein Icon in die Leiste setzt, um ad-hoc einen SSH-Tunnel aufzubauen.
NinjaKit – GreaseMonkey für Safari.
MplayerX – eine Art VLC nur in hübsch (und funktionaler).
Postbox – ein kommerzieller Mozilla Thunderbird Fork, der einfach nur etwas mehr Mac-GUI hat. Nicht empfehlenswert.
Lyn – möchte eine leichtgewichtige iPhoto-Alternative sein.
MiniUsage – zeigt diverse (unzählig viele) Statusinformationen leicht zugänglich per Dropdown-Menü in der Leiste an.
MacDentro – OS X Wartungstool, das die UNIX-Dienste und -Interna aufräumt (cronjobs laufen, etc. pp.). Gibt’s auch in hübsch und kommerziell: Cocktail.app.
Enqueue – eine leichtgewichtige iTunes-Alternative. Klare Empfehlung von mir!
Bean – eine Textverarbeitung für OS X. Hilfreich, wenn man auf Pages/Open|LibreOffice verzichten möchte.
SourceTree – kostenloser Client für Mercurial und Git mit Integration von github.com und bitbucket.org. Erfordert nach einem Monat eine kostenlose Registrierung.
Qute – ein ziemlich hübscher Editor für Markdown; gibt’s auch für PC.
TextMate 2 Tips – ein Blog über das aufkommende TextMate 2. Unabhängig davon gibt es auch ein MateWiki.

polipo – a caching web proxy

Sun, 29 Jan 2012 19:21:00 GMT

In den zwei vergangenen Wochen habe ich viel mit Proxy-Techniken rumgespielt. Anfangs noch ein SOCKSv5 über SSH getunnelt, über direkte HTTP Authentifizierung mit polipo und Privoxy im Chaining auf einem 128 MiB RAM Host in der Schweiz. Leider entsprach das nicht direkt meinem Wunsch, den Verkehr bis zum anonymisierenden Proxy im Klartext zu schicken – und langsam(er) war es auch. Für zwei Tage hatte ich auch mein SheevaPlug als caching web proxy missbraucht, nur machte das in der Verbindung mit Privoxy nicht allzu viel Spaß: über 3 Sekunden für ein Aufruf von spiegel.de.

Das primäre Problem mit SSH war das Abbrechen der Verbindung in jedem Fall nach dem Ruhezustand (wenn nicht schon nach 5 Minuten nichts tun, was zumindest mit KeepAlive gehalten werden kann, eine DSL-Zwangstrennung überlebt das nicht). Zu spät habe ich von autossh erfahren und habe stattdessen mit der Äpp Tunneler bzw. dessen Nachfolger TunnelerX (free as in free beer) gespielt, wo letzteres zwar die Ports richtig hinbekommt, nur ersteres aber die SOCKSv5-Verbindung – reconnecten nach dem Schlafen kann es auch nicht.

Mit DSL ~4500 macht ein Setup mit einem caching web proxy in der Schweiz wenig Sinn, viel cooler wäre ja ein lokaler (oder im LAN, sofern man im heimischen W-LAN ist) Proxy der das Pseudo-Scheiß-Caching vom Firefox und Konsorten ausgleicht. Hier ein Tipp unter OS X: ControlPlane, open-source, ist ein Tool, dass verschiedene (Netzwerk-) Einstellungen je nach Abstand des Mondes oder Wifi SSID/BSSID aktivieren kann. So kann für das Uni-Netz der heimische Proxy-Server deaktiviert werden und sobald wieder das ‘traute Netz da ist aktivieren.

polipo

Warum polipo? Primär, weil es für Einzelbenutzer oder wenige Clients konzipiert ist. Wer die hunderttausend Optionen im squid kennt, kann sicherlich auch den nutzen. Polipo gibt’s im homebrew-Repository, bringt allerdings kein launchd-Skript mit (gibt’s unten). Da ich meinem MacBook Pro letztens ein RAM-Upgrade gegeben habe, darf polipo maximal ein halbes Gigabyte RAM nutzen – und das empfehle ich jedem. Denn polipo ist etwas buggy. Es hat zwar einen Maintainer, aber die Commits halten sich in Grenzen. Wenn ich über ~~vkontakte.ru~~ vk.com einige Songs im HTML5 Player streame, dann gibt es nach neun oder zehn ein

Short on chunk memory – attempting to punch holes in the middle of objects.

und das bedeutet nichts gutes, denn es wird mitten im Streaming der Content gelöscht und die Verbindung abgebrochen, da es an RAM mangelt. YouTube betrifft es ebenso. Aber nichtsdestotrotz sollte man polipo nutzen, denn neben 40 MB/s Downstream (Firefox’ XML Parser ist wirklich langsam ;-) bringt polipo auch nützliche Privacy-Optionen mit:

# censoredHeaders = from, accept-language
censorReferer = maybe
censoredHeaders = accept-language, from

und kann auch direkt einen eigenen DNS-Server wie dnsmasq nutzen (meine Hoffnung war ja, dass polipo’s proxyOffline = true offline “Browsen” bringt, aber die DNS-Queries werden dennoch ein Fehler: Server nicht gefunden bringen).

~/Library/LaunchAgents/org.posativ.polipo.plist

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
    <key>Label</key>
    <string>org.posativ.polipo</string>
    <key>ProgramArguments</key>
    <array>
        <string>/usr/local/bin/polipo</string>
        <string>-c</string>
        <string>/usr/local/etc/polipo/config</string>
    </array>
    <key>RunAtLoad</key>
    <true/>
</dict>
</plist>

Diese plist generiert mir Lingon für /usr/local/bin/polipo -c /usr/local/etc/polipo/config und sollte in den genannten Ort kopiert werden, sodass polipo beim Anmelden gestartet wird. Mit launchctl load ~/Library/LaunchAgents/org.posativ.polipo.plist wird der Daemon gestartet.

Adblocking mit adzapper

Privoxy ist für gewöhnlich das Tool der Wahl wenn es um Werbeblocken auf Proxy-Seite geht, aber da es viel CPU-Leistung verbrät, habe ich mich nach Alternativen umgeschaut. Primär Alternativen, die mit den Easylisten von Adblock kompatibel sind. polipo hat zwar auch ein regex-kompatibles polipo.forbidden-file, aber die verfügbaren adblock2polipo.(py|rb) produzieren inkompatible reguläre Ausdrücke. Ob der Fehler bei der Liste oder polipo liegt, weiß ich nicht. Allerdings bringt polipo ein redirector Feature mit. Das zwischen ein Perl-Programm wie z.B. adzapper HTTP (ohne S) und filtert anhand einiger regulären Ausdrücke:

wget http://adzapper.sourceforge.net/scripts/squid_redirect -O /usr/local/bin/adzapper
echo "redirector = /usr/local/bin/adzapper" >> /usr/local/etc/polipo/config

launchctl unload ~/Library/LaunchAgents/org.posativ.polipo.plist
launchctl load ~/Library/LaunchAgents/org.posativ.polipo.plist

Alternativ ginge auch eine forward /-Direktive zu beispielsweise bfilter mit aktivem Adblock-Support.

Linkschleuder #14

Fri, 20 Jan 2012 09:43:00 GMT

Cryptographic Key Length Recommendation – im Seminar aufgeschnappt; empfohlene Schlüssellängen einiger Behörden.
weaveclient-chromium-continued – nicht getestet, aber wäre cool, wenn das funktioniert.
puppet – automatisiertes Einrichten eines *nix-Systems mit einer Ruby-DSL.
„Puppet, an automated administrative engine for your *nix systems, performs administrative tasks (such as adding users, installing packages, and updating server configurations) based on a centralized specification.“
start-stop-daemon – ein Debian/Ubuntu-Tool, um das Schreiben von eigenen Dämonen deutlich zu erleichten (Beispiel).
Watch – A tiny C program used to periodically execute a command. (via The Changelog)
dcrypt.it – DLC Entschlüsselung mit ein paar mehr Input-Methoden als mein Angebot.
Polipo – a small and fast caching web proxy. Sowas wie squid, aber eher für Single-User/Home-Betrieb gedacht. Werd’ ich mir mal näher anschauen.
ettercap – eine Suite für Man-in-the-Middle Angriffe im LAN.

WhatsApp Privacy Policy: Verschlüsselung im Transportmedium.

Sun, 15 Jan 2012 22:43:00 GMT

WhatsApp kennt sicherlich jeder Smartphone-Nutzer. Hat über zwei Millionen aktive Nutzer zu jeder Stunde und ist für jede mobile Plattform verfügbar, leider nur nicht für den Desktop. Das lässt sich ja vielleicht ändern, dachte ich mir und schmiss WireShark an:

WA............Android-2.7.431.........~.......Z*.....8..........~._......Xbm9uY2
U9IjE4ODAwNzM1MDU3OS IscW9wPSJhdXRoIixjaGFyc2V0PXV0Zi04LGFsZ29yaXRobT1tZDUtc2Vzc
w==.........cmVhbG09InMud2hhdHNhcHAubmV0IixyZXNwb25zZT0yZTY4M2U0YjlhNTA2ODdhMmN
mODA3NDQ1MTMxODM3Yyxub25jZT0iMTg4MDA3MzUwNTc5IixkaWdlc3QtdXJpP SJ4bXBwL3Mud2hhdH
NhcHAubmV0Iixjbm9uY2U9IjFtOWRzdGM2NzY1ZHQiLHFvcD1hdXRoLHVzZXJuYW1lPSI0OTE2MzYzMT
A2MTMiLG5jPTAwMDAwMDAx.#.......Rj#.13050253130. 1620558113....t8..+......t..a..
Ich....HC..:....{.M....Ua$....HC..2.:..........,..H8...491896312624.C../..../...
404......J......H8.C..2.........s<C..APA91bHEmfHjKPpBwu3MJLCOtK4hFMwe0ZWHdXimFDr1
pxIa18rznmbZ6FLB-7pFMVwX0GJiVPcUWCaAvnwTR0O_LVfEENMr--GtpzSy2FbWtq1IKSOG9_Z0N6Kz
LlIit9JaKaui47VY....t......491521283131..!..HC..3.:....491521283131.....{.L.)..H8
...491721883139.C..3......{.L...16990....t.....4914682512635.."..HC..4.:...
4914682512635.....{.L.+..H8..4915152523662.C..4......{.L...128494....t......t8..
.491896312624.

Sieht ziemlich unleserlich aus. Die ersten zwei Bytes beginnen wohl das interne XMPP-Protokoll, WhatsApp-Version und dann… äh ja. Dann sind da meine Telefonnummer, Name, Ziel-Nummer (+ deren Zweitnummer und Geburtsdatum) der Gesprächspartnerin.

Version: Android-2.7.431
meine Nummer: 491896312624
Zielnummer: 4914682512635
Zweit-Nummer: 4915152523662
Geburtsdatum: 16990

Wohlgemerkt ist das ein Dump, wenn ich die App einfach öffne. Wenn Text kommt, dann ist da etwas weniger (Nachricht: Ich doch nicht xD).

.F..]....4914682512635...C..316008602-1......O..........Ich doch nicht xD.@..]8
...4914682512635.C..316008602-1........O....C..316008602-1...

Ich war etwas erstaunt. WhatsApp verschlüsselt – aber nur das eigene Protokoll, was mit den Nutzerdaten passiert, ist ihnen egal. Ich kann mir keine Erklärung dafür geben. Rechenleistung geht ja eh schon drauf, indem das Protokoll verschlüsselt wird, warum also nicht gleich noch den Rest verschlüsseln? Hauptsache keiner entwickelt einen Desktop-Clienten außerhalb ihres Einflussbereiches!11

Im öffentlichen Hotspot sind die Daten für jedermann lesbar, für verschlüsseltes WLAN kann der Beitreber ngrep-en und dass GMS/UMTS nicht mehr sicher ist, weiß man spätestens nach dem Skandal in Dresden. Das Problem ist auch nicht unbekannt, nur hat es noch keiner genug reverse engineered.

PS: alle personenbezogenen Informationen sind anonymisiert.

Linkschleuder #13

Thu, 12 Jan 2012 12:27:00 GMT

Tapir – eine Alternative zu Google Custom Search, sprich eine externe Suche für statische Seiten mit Atom-Feed-Input.
Read the Docs – ein Sphinx-Dokumentationen-Hoster, der auch auf eigene Domains serviert. Hier geht’s los.
Einführung in Sphinx – nicht offiziell, aber sehr hilfreich für den ersten Schritt.
Envoy: Python Subprocesses for Humans. – und das hat Python bitter nötig!
Unfortunate Python – auch Python ist nicht perfekt in seiner Implementierung.
Why Python Pickle is insecure and Exploiting Pickle
rsslounge – web-basierter RSS Aggregator mit PHP und MySQL. Ganz nett, aber noch etwas bugbelastet. Drei meiner 40 Feeds (OPML Import) konnte er nicht laden und ist nun nicht mehr nutzbar. Google Code
Adminer – Datenbank-Verwaltung (MySQL, SQLite, etc.) in einer einzigen PHP-Datei. Angenehm im Vergleich zu mysql-client.
Coco – is a CoffeeScript dialect that aims to be more radical and practical.

Linkschleuder #12

Mon, 09 Jan 2012 13:56:00 GMT

Es wird leider auch nicht weniger:

Nokias Google Maps Fork – ohne Flash, sondern in WebGL. Sehr performant und echt beeindruckende Qualität.
Wireless Android Management – ein sehr hübsches Webinterface auf Knopfdruck. So lassen sich bsw. SMS im Browser schreiben.
Tor bridges in the Amazon cloud – vorgefertigte Tor-Images für Amazons EC2, ~~ab 3$/Monat für gut 15 GB Traffic~~ ersten 15 GB Traffic sind kostenfrei, bei maximal 40 GiB kann das bis zu 3$/Monat kosten.
Pandoc – a universal document converter.
Lita – SQLite Administration Tool (mittels Adobe Air) ohne Error-Handling. Aber hübsch.
SQL Tutorial using SQLite und Syntax-Diagramme haben mir bei der Entwicklung von weave-minimal sehr geholfen!
Sublime Text 2 – auch wenn ich’s schon erwähnt hatte. Der Texteditor ist derzeit das nonplusultra. Es macht so viel Spaß damit zu arbeiten.
GitHub Issue – ein CLI Programm für GitHub’s Issues (wer hätte das gedacht) in Node.js.

nginx

Sat, 07 Jan 2012 21:03:00 GMT

Seit heute rennt das Blog unter nginx. Der Grund ist einfach: lighttpd ist behindert zu konfigurieren, hat keine aktuellen/coolen Features und ist zudem noch langsamer als nginx. Ich hoffte seit knapp einem Jahr, dass sich in der Entwicklung was tut, aber außer einer Beta-Version mit integriertem lua-Support (um überhaupt ein if-else statt if-else-if konfigurieren zu können) und zahlreichen Won’t fixes für 1.4.x hat sich leider rein gar nichts getan.

Warum nginx? Ja, das weiß ich auch nicht, aber die Alternativen zu non-Apache mit geringem Memory-Footprint, vielen Features und opensource sehen schlecht aus. thttpd hat kein mod_proxy, Cherokee bringt gleich ein Web-GUI zur Administration mit und LiteSpeed Web Server ist nicht quell-offen. Also, was sind die Features von nginx?

schnell und leichtgewichtig
logische Konfiguration (was ich schon für behinderte Logik-Krämpfe mit lighttpd hatte…)
mod_proxy, mod_fastcgi, expires, PCRE

Moving from lighttpd to nginx

Die Umstellung von lighttpd nach nginx ist nicht ganz ohne. Prinzipiell ist alles anders und nginx hat keine Unterstützung für CGI und rewrite-Regeln auf Query-Parametern. Außerdem spawnt nginx nicht automatisch einen PHP-Prozess für FastCGI und erlaubt keine POST-Requests auf statische Seiten – aber das lässt sich umgehen.

1. Präambel - /etc/nginx/nginx.conf

user www-data;
worker_processes  2;

error_log  /var/log/nginx/error.log;
pid        /var/run/nginx.pid;

events { worker_connections  2048; }

http {
    include       /etc/nginx/mime.types;

    #access_log /var/log/nginx/access.log;

    # cbc-mode ciphers might be vulnerable (BEAST)
    ssl_ciphers RC4:HIGH:!aNULL:!MD5;
    ssl_prefer_server_ciphers on;

    sendfile        on;
    keepalive_timeout  65;
    tcp_nodelay        on;

    gzip  on;
    gzip_disable "MSIE [1-6]\.(?!.*SV1)";
    index index.php index.htm index.html;

    include /etc/nginx/conf.d/*.conf;

2. vhosts - /etc/nginx/conf.d/posativ.org.conf

server {
    listen       80;
    server_name  posativ.org;
    root         /home/www/posativ.org;

    location ^~ /blog {
        include conf.d/pyblosxom.redirect;
    }

    location ~ ^/(redmine|git)/ {
        rewrite ^/(.*)$ https://posativ.org/$1 redirect;
    }
}

Selbsterklärend. Nicht mehr und nicht weniger will ich konfigurieren. Statt im lighty irgendwelche obskuren Redirects auf Sockets != 443 zu kreieren, gibt es hier ganz klar das Konzept „ich lausche auf diesen Ports mit folgenden Einstellungen”.

3. SSL

In der Präambel lässt sich zudem noch die verwendete Cipher wählen und so ein Angriff mittels BEAST verhindern.

server {
    listen       443;
    server_name  posativ.org;
    root         /home/www/posativ.org;

    ssl             on;
    ssl_certificate certs/posativ.org.crt;
    ssl_certificate_key certs/posativ.org.key;

    location ^~ /redmine {
        proxy_pass http://127.0.0.1:3001;
    }

    location ^~ /git {
        proxy_pass http://127.0.0.1:7654;
    }

    # ...
}

5. rewrite rules

Das war zunächst das größte Problem. Ich pflege Rückwärtskompatibilität zwischen meinen (inzwischen vier) Blogs mit unterschiedlicher Software und Permalinks. Einfach sind URI -> URI rewrites-Rules:

    # lighttpd
    url.redirect += ("/blog/?$" => "https://blog.posativ.org/", ...)

    # nginx
    rewrite "^/blog/?$" "http://blog.posativ.org/" permanent;
    ...

Mit perl -pe "s/\"(.+)\" => \"(.+)\",/rewrite \"\^\1\" \"\2\" permanent;/g" hatte ich das grob von lighttpd auf nginx übertragen. Problem: nginx kann kein rewrite auf die Request-Parameter (zurecht aber auch). Das sollte nicht nur mich mit meinen anfänglichen /?p=1dcdd17 stören, auch diverse andere Blogs haben dieses URL-Schema. Warum das nicht direkt von den rewrite-Regeln unterstützt wird, ist klar: die Query-Parameterreihenfolge ist variabel. Aber es ist nginx und da geht alles (wenn auch mit erhöhtem Rechenaufwand):

location = / {
    # das `?` am Ende leitet die GET-Request Paramter nicht weiter
    if ($arg_p = 1dcdd17) {
        rewrite ^ http://blog.posativ.org/2011/weitere-html-abstraktion-in-python/? permanent;
        # ...
    }
}

6. weitere Eigenheiten

nginx erlaubt kein POST/PUT auf statisches HTML, denn sonst wäre es ja CGI (was aber auch nicht geht, dazu gleich mehr). Aber auch dafür gibt es die merkwürdigsten Workarounds (POST auf statisches HTML wirft 405):
```
error_page 405 = @405;
location       = @405 {
    root    /home/www/blog.posativ.org;
}
```
CGI wird auch nicht unterstützt, denn es ist langsam und erfordert viel Verwaltungs-Logik. Das macht bsw. lighttpd speicherhungriger als Apache (!), wenn Google mal ein CGI-hosted Mercurial-Webinterface crawlt. Statt CGI sollte FastCGI oder Proxy-Magie genutzt werden. Für PHP spawnt nginx keinen Prozess, der muss vorher auch angelegt werden. Für Debian gibt es dafür ein init.d-Skript und nach einem invoke.rc-d start php-fcgi lauscht ein PHP-Prozess auf Port 9000.

Rückblick

lighttpd war zwei Jahre mein treuer Begleiter im Kampf gegen Apaches behinderte XML-like Konfiguration mit kleinem Speicherverbrauch, aber die Konfiguration ist inzwischen mehr als willkürlich. Schon eine Umordnung von Statements, die logisch gleichwertig sind, kann das Problem lösen oder erst erzeugen.

Die nginx Konfiguration ist weitaus intuitiver, besitzt mehr Funktionialität und trotzdem ist der Server schlanker, modularer und leistungsfähiger als lighttpd.

KTHXBYE lighttpd.

Linkschleuder #11

Mon, 02 Jan 2012 18:11:00 GMT

Diesmal stark apfel-lastig; zwei zu Twitter, Rest zu OS X.

twidge – full commandline twitter client (in Haskell geschrieben)
Fork A Twitter Client – Twitter komplett im Browser (wie twitter.com), jedoch in schlank.
OSX GCC Installer – GCC-related Tools in XCode. Erspart nächstes mal vielleicht den 4,7 GiB Download.
VLC GUI rewrite – für OS X, ist leider eingeschlafen, weil es sehr wenige OS X Entwickler gibt.
Consultant’s Canary – Diff zwischen OS X Erst-Installation und dem Müll, der jetzt drauf ist. Äußerst praktisch.
Vom OS X zum SheevaPlug – inklusive Kommentar von einem Projekt mit quelloffenen Treibern.
Musorg – OS X MP3 Tag Editor (GPLv2), nicht wirklich fertig, dafür immerhin was OS X-natives.
YouTube Player Client for OS X – ressourcensparend YouTube gucken, noch kostenlos.
Musique – ehemals MiniTunes, verfügbar für Windows, Linux und Mac OS X, GPL und ohne AudioScrobbler-Support!
Ecoute 3 – Standalone player based on your iTunes library.

Profiling Memory and CPU Time of Python Programs on OS X

Wed, 28 Dec 2011 21:10:00 GMT

As a result of my last performance improvements to acrylamid I was not able anymore to measure the memory used via Activity Monitor. I can measure cpu time in many different ways using time or python’s neat -m cProfile -s cumulative argument in front of my real program call, but I don’t know any way to measure memory of fast ending applications.

Memory Profiling

The first fact I found is that python has no capabilities of profiling and BSD’s version of time had no memory statistics support (seems, linux version can do this). But there’s an App… erm tool for that: valgrind. Using it with OS X’ default python produces a lot of output and will slow down code execution, therefore you have to call valgrind with a specific supression file using Massif: a heap profiler (or re-compile --without-pymalloc):

$> valgrind --tool=massif --suppressions=Misc/valgrind-python.supp \
   python ../acrylamid/bin/acrylamid gen
$> ms_print massif.out.1928 > out.txt

The latter produces a heap profile written to out.txt. KDE/Linux seems to have a visualizer, KCacheGrind, but OS X don’t. But there might be an application which claims to run on OS X as well: Massif Visualizer.

--------------------------------------------------------------------------------
Command:            python ../acrylamid/bin/acrylamid gen
Massif arguments:   (none)
ms_print arguments: massif.out.1928
--------------------------------------------------------------------------------

    MB
38.53^                                                          :             
     |                                                        # :             
     |                                                       @#::             
     |                              @   @               ::@@@@#::         ::@:
     |                              @:  @ :            :::@@@@#::::::@::::::@:
     |                       @@:::::@:::@::@@::@::@@::::::@@@@#::::::@::::::@:
     |           ::::::@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
     |      @   :: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
     |      @:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
     |   :::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
     |   :::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
     |  @:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
     |  @:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
     |  @:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
     | :@:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
     | :@:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
     | :@:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
     | :@:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
     | :@:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
     | :@:::@:@::: :: :@:::::@ :: ::@:::@::@ : @::@ :: :::@@@@#::::::@::::::@:
   0 +----------------------------------------------------------------------->Gi
     0                                                                   40.63

Number of snapshots: 86
 Detailed snapshots: [2, 6, 8, 16, 23, 29, 33, 36, 39, 42, 48, 49, 50, 51, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63 (peak), 73, 83]

CPU Time

To complete this overview article, here are the parameters to measure CPU usage from an earlier version of acrylamid (doing nothing):

$> acrylamid --version
0.1.11-dev
$> python -m cProfile -s cumulative ../bin/acrylamid gen | less
      392661 function calls (382947 primitive calls) in 0.684 seconds

Ordered by: cumulative time

ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     1    0.000    0.000    0.685    0.685 acrylamid:7(<module>)
     1    0.000    0.000    0.648    0.648 __init__.py:44(__init__)
     1    0.001    0.001    0.647    0.647 __init__.py:177(run)
     1    0.000    0.000    0.559    0.559 __init__.py:135(initialize)
     1    0.000    0.000    0.514    0.514 __init__.py:35(initialize)
     8    0.000    0.000    0.277    0.035 __init__.py:19(index_filters)
     1    0.000    0.000    0.270    0.270 hyphenation.py:191(__init__)
     1    0.000    0.000    0.270    0.270 hyphenation.py:150(build)
     1    0.010    0.010    0.269    0.269 hyphenation.py:34(__init__)
 14263    0.130    0.000    0.257    0.000 hyphenation.py:45(_insert_pattern)
 25/23    0.004    0.000    0.244    0.011 {__import__}
 28848    0.031    0.000    0.201    0.000 re.py:228(_compile)
     1    0.003    0.003    0.191    0.191 rst.py:7(<module>)
   248    0.000    0.000    0.161    0.001 re.py:188(compile)
   174    0.001    0.000    0.161    0.001 sre_compile.py:495(compile)
     5    0.001    0.000    0.156    0.031 __init__.py:10(<module>)
     1    0.002    0.002    0.096    0.096 __init__.py:68(<module>)
     1    0.003    0.003    0.090    0.090 states.py:101(<module>)
   174    0.000    0.000    0.085    0.000 sre_compile.py:480(_code)

With some optimization acrylamid 0.2.1 is now about 4 times faster (685ms versus 140ms), just by lazy evaluate hyphenation patterns and docutils import. You can also pass ncalls, tottime, percall and so on instead of cumtime, see python’s profile for all sort keys.

$> acrylamid --version
0.2.1
$> python -m cProfile -s cumulative ../bin/acrylamid gen | less
      81785 function calls (78036 primitive calls) in 0.140 seconds

Ordered by: cumulative time

ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     1    0.000    0.000    0.141    0.141 acrylamid:7(<module>)
     1    0.000    0.000    0.103    0.103 __init__.py:45(__init__)
     1    0.000    0.000    0.101    0.101 __init__.py:197(run)
     1    0.000    0.000    0.098    0.098 __init__.py:143(initialize)
     1    0.000    0.000    0.051    0.051 __init__.py:36(initialize)
    17    0.003    0.000    0.051    0.003 {__import__}
     1    0.000    0.000    0.046    0.046 __init__.py:38(initialize)
     5    0.000    0.000    0.045    0.009 __init__.py:22(index_views)
     5    0.000    0.000    0.043    0.009 environment.py:763(from_string)
     5    0.000    0.000    0.043    0.009 environment.py:453(compile)
     1    0.003    0.003    0.038    0.038 __init__.py:20(<module>)
    73    0.000    0.000    0.035    0.000 re.py:188(compile)
    73    0.001    0.000    0.035    0.000 re.py:228(_compile)
    67    0.000    0.000    0.034    0.001 sre_compile.py:495(compile)
     1    0.001    0.001    0.023    0.023 __init__.py:28(<module>)
     5    0.000    0.000    0.023    0.005 environment.py:396(_parse)
     1    0.000    0.000    0.022    0.022 md.py:7(<module>)
     1    0.001    0.001    0.021    0.021 __init__.py:31(<module>)
     1    0.002    0.002    0.021    0.021 hyphenation.py:4(<module>)

TextMate

Sun, 18 Dec 2011 17:02:00 GMT

Bevor ich so langsam zum Sublime Text Editor wechseln werde (es sei denn, Version 2 bringt es), noch einmal kurz meine Lieblings-Bundles, sprich Macros, Themes und Snippets.

Essential TextMate Shortcuts, Tips and Techniques
Solarized (light) Theme – the one and only one. Gibt nichts besseres.

Bundles

x86 Assembler – Intel86 Syntax Highlighting!1
lilypond
LaTeXExtension – mit $O[Ausrufezeichen]$ -> $\Omega$ und so
reStructuredText
SASS
Jinja2 Templating
Python PEP 8
Python Tools – ⌘+S mit Syntax Validierung

Installiert wird das alles nach ~/Library/Application Support/TextMate/.

weave-minimal – a Firefox Sync full-server fork

Sun, 18 Dec 2011 16:35:00 GMT

The first time I tried to get a custom Firefox Sync server running, I used server-full and even though I know python (the server is written in python), the configuration was highly difficult. There’s no click & install. You have to choose between Redis, MySQL, PostgreSQL and Sqlite3. For most people, sqlite3 is quite fine. Sqlite and sync-server config files have summed up almost 80 LoC. And you still don’t know how to authenticate unless you have already a LDAP server running.

There are some alternatives: ffpyweave, django sync server and formerly weave-minimal too, written in PHP but not supported anymore. But I’ve forked the official server-full (well I completely rewrote) to a more easier installation without multiple backends but completely relying on a simple sqlite database.

Requirements

a web server with proxy or FastCGI/WSGI support
python runtime (>= 2.5)
shell access

Installation

$ easy_install -U werkzeug

$ wget https://github.com/posativ/weave-minimal/tarball/master -O weave-minimal.tar.gz
$ tar xfz weave-minimal.tar.gz
$ cd posativ-weave-minimal

Usage

Currently, Firefox does not you create a user account on your own server. I filed a bug in a week ago. Therefore you need to set up every account manually:

$ ./weave.py --register myname:mypassword
[info] database for `myname` created at `.data/myname.91dfd9ddb4198aff`
$ ./weave.py -p 8080

Please note that only alpha-numerical characters are allowed!

The last command launches weave.py on port 8080. You can now configure mod_proxy in your webserver of choice or you some mod_fastcgi magic. See README.md for an example configuration.

For the Firefox Sync Setup see in README.md, too.

Hints

using an SSL-encrypted server is recommended but not required
Firefox never transmits browser data unencrypted, just your username/password are sent base64-encoded over the air (HTTP Basic Authentication).
you can have multiple user per weave-minimal instance
the user password is stored SHA1-hashed (first 16 characters) into the database filename name.91dfd9ddb4198aff.
in case your web server sucks and does not send HTTP_X_SCRIPT_NAME, start weave.py with --prefix=/url/prefix.

Linkschleuder #10

Fri, 16 Dec 2011 18:31:00 GMT

daemontools – nein nicht die Daemon Tools, um äh Sicherheitskopien zu mounten, sondern einen Prozess-Supervisor wie init.d und kann im userspace laufen (via).
runwhen – eine Art besseres cron. Unterstützt z.B. direktes Ausführen eines Tasks und kann sekundengenau Arbeiten (via).
Tracks – eine nette Todoliste mit Ruby on Rails, die gerade mal lächerliche 100 MB RAM idle verbrät. Unterstützt Mobil-Geräte.
Piwigo – your own photo gallery (in PHP und MySQL), gibt’s direkt im Repository von Debian und Ubuntu. Ganz hübsch, aber ein leichter Overkill für einen Einzelnutzer.
Macfusion – SSH & FTP Filesystem im Userspace aka FUSE. Mit GUI!1
github:mac – gibt’s in Version 1.1 und unterstützt unter anderem partielles Hinzufügen aka git add --patch (wenn auch sehr umständlich).
Lua Scripting im lighty 1.5 – könnte Grack+Redmine unnötig machen, würde es denn irgendwann Version 1.5 geben.
HTML nach Text konvertieren – ist sogar Markdow-valide, was da hinterher rauskommt!
Disaster and Emergency AlertMap – auch mit Europa
YSlow – Yahoo Tool um die Webseiten-Geschwindigkeit zu analysieren.
Ruby Best Practices (Buch) – “We can all write better Ruby code”.

Firefox Sync auf dem eigenen Server. Ja. Wirklich.

Wed, 07 Dec 2011 19:01:00 GMT

Vor gut zwei Wochen habe ich festgestellt, dass es irgendwie unmöglich ist, einen eigenen Server für Firefox Sync zu nehmen. Aber so unmöglich ist es dann gar nicht. Wenn man weiß, wie behindert das Setup ist, dann ist das kinderleicht.

Was nicht geht: ein neues Konto auf dem eigenen Server anlegen. Warum? Weil Mozilla diese Service-URL auth.services.mozilla.com fest in den Firefox kodiert hat. Die API, um sich zu registrieren, hängt aber an obiger URL + /user, genauer gesagt PUT /user/1.0/mein_username. Da sich die URL für den Registrierungsserver (der Server ist in zwei Teilprojekte unterteilt, server-reg und server-full) nicht einmal in der about:config einstellen lässt, wird dieser Workaround genutzt. Wir wissen ja, 89 people have this problem. I have this problem, too!

Workaround in Firefox

Anstatt sich ein neues Nutzerkonto zu klicken, wählt man stattdessen aus, dass man bereits ein Konto hat. Dafür wird allerdings wirklich ein Konto benötigt, was zu einem unschönen Weg in die Kommandozeile führt (oder ins Webinterface, sofern der Server derartiges anbietet). Nachdem man sich auf seinem Server einen Nutzer registriert hat, geht’s weiter. Anstatt das Gerät mit dem drei-stelligen Code zu aktivieren (ich wüsste nicht, wie das mit eigenen Servern funktioniert), wählt man “Ich habe das Gerät nicht bei mir”, gibt seine Daten ein, wählt “Eigenen Server verwenden…” aus und gibt seine URL ein. Das war’s.

An Servern dürften damit wohl *noch* alle letztens aufgezählten funktionieren, ob, das habe ich aber nicht getestet:

offizielle Server-Implementierung, nicht gerade leicht zu installieren, Bloatware++.
weave-minimal in PHP, der ehemalige, offizielle Weave-Server, discontinued.
Django Sync Server
ffpyweave, ein single-file CGI-Skript
weave-minimal, meine Implementierung von server-full in Python, nur ohne Bloatware-Adapter.

Derweil habe ich einen Bugreport mit meinem Unmut gefiledt.

Firefox Sync auf dem eigenen Server. Vielleicht. Nein.

Sat, 26 Nov 2011 22:03:00 GMT

So habe ich heute Firefox ~~Weave~~ Sync kennengelernt. Ich dacht mir, hey ich hab’ ‘nen Server, oh und hey, der Sync-Server ist in Python geschrieben, das wird bestimmt kinderleicht!1 Aber die Community Policy, die Mozilla da seit geraumer Zeit fährt, macht jegliche Offenheit des Source Codes sinnlos, weil es einfach nicht für den kleinen Mann dokumentiert ist. Das ist so miserabel dokumentiert, dass ich ohne Studieren des Source Codes nicht weiß, ob der server-full überhaupt dafür konzipiert ist, geschlossen für einen, oder maximal auch zwei Nutzer zu laufen. Denn ganz sicher werde ich für einen Single-User-Betrieb keine LDAP-Authentifizierung aufsetzen.

Früher™ gab es ja mal diesen diesem Minimal Server. Der scheint aufgrund von API-Änderungen nicht mehr ganz zu funktionieren bzw. ist sowieso deprecated (ist ja logisch, warum sowas kleines weiterführen, wenn man mit LDAP gleich die ganze Welt verwalten kann). Von einem Server in PHP hab’ auch ich gehört. Ein (älteres) single-file CGI-Skript in python gibt’s ebenfalls. Ob das funktioniert, weiß ich nicht. Einen Django-Klon gibt’s auch, das ist aber die erste genannte Variante mit denselben Zielen, Millionen von Nutzern zu verwalten, nur mit Django. Nicht viel gekonnt.

Es ist ja nicht so, dass ich zu unfähig bin, den offiziellen server-full oder das CGI-Skript pyweave zum Laufen zu bekommen. Das Problem ist das hier:

89 people have this problem . I have this problem, too!1

Wie gut, dass das Projekt (ich vermute, das ist es) server-reg so überragend dokumentiert ist:

$> cat README
========
Sync 1.1
========

This is the Python implementation of the Sync Server 1.1.

The documentation is located in the doc folder.

$> ls 
MANIFEST.in  README       SyncReg.spec  etc/           setup.py        syncreg/
Makefile     RELEASE.txt  dev-reqs.txt  prod-reqs.txt  stage-reqs.txt

Humble Introversion Bundle mit DEFCON

Tue, 22 Nov 2011 19:43:00 GMT

Wuhuuu. Das Humble introversion Bundle gibt’s wieder und diesmal mit dem Klassiker DEFCON. Ich fand den Preis damals™ (15€) etwas zu hoch. Und jetzt gibt’s für 3,49$ gleich sechs Spiele auf einmal. Das würde ich allein für Defcon zahlen. Denn wer träumt nicht heimlich vom (virtuellen) Weltkrieg mit Atomwaffen und das sogar crossplattform?

— the Humble introversion Bundle

Linkschleuder #9

Sun, 20 Nov 2011 12:37:00 GMT

toast – packageless package manager for Unix systems and non-root users
Backblaze – wohl billigste Cloud-Backup Lösung überhaupt. Halt mit mangelnder Redundanz und so.
IPv4 Logs randomisieren – hatte ich letztens wieder eine Diskussion. Meine Lösung ist inzwischen aber 127.0.0.1 im IP-Feld.
Es gibt übrigens einen Standard um mit HTTP ein Blog zu administrieren. Das ist dann so mit PUT und DELETE und halt ‘ne etwas behindertere REST-API. Hier und hier ein Tutorial. Primäres Problem: wenn man so ein Blog hätte, dann gäbe es keine Tools dafür.
enable cross-origin resource sharing – wer sich an die etwas restriktive same-origin-policy stört, der kann es für seine Website individuell oder allgemein aktiveren.
Don’t Use MongoDB
A Curious Course on Coroutines and Concurrency (in Python!).
It’s dangerous to send data to an untrusted environment – eine Python-Lib, um im Web kryptografisch zu signieren. Mit Timestamps und so.
Unicode nach Ascii – zumindest für Latin1. Macht aus Æ ein Th und aus ß ein ss.
Unicode nach Ascii++ – für Support von € in EUR oder gar ☺ in :-). Ziemlich nützlich, um schöne URLs in Blogs zu bekommen und eine bessere Alternative als die üblichen Ansätze in WordPress und so mit NFKD zu normalisieren.
5 Years of Bad Ideas – über Zauberei in Python. Gute und schlechte Zauberei, Zauberei mit Fallback und ungewöhnliche Zauberei. Sehr lesenswert!
CSS Syntax mit Variablen und nested Blocks – in einer mir unbekannten yetanother C++/Java-Klon Sprache namens Neko geschrieben. Die gibt’s sogar als mod_neko.
Yet another CSS Preprocessor
und zu guter letzt noch ein node.js-Tutorial (GitHub)

lighttpd + git/grack = HTTP 417

Sun, 23 Oct 2011 13:01:00 GMT

Just in case, anyone experiences this, too. Lighttpd can not handle Expect: 100-continue properly. Pushing with git fails (sometimes) with something like this:

# git push origin master
    Counting objects: 11, done.
    Delta compression using up to 24 threads.
    Compressing objects: 100% (10/10), done.
    Writing objects: 100% (11/11), 1.94 KiB, done.
    Total 11 (delta 0), reused 0 (delta 0)
    error: RPC failed; result=22, HTTP code = 417
    fatal: The remote end hung up unexpectedly
    fatal: The remote end hung up unexpectedly

It’s fixed in lighttpd 1.5 but is a Wont’t fix for version 1.4.29. As you may know, version 1.5 is still beta and not finished yet. Since four years, now. Great fix, though. A workaround can be found here:

server.reject-expect-100-with-417 = "disable"

Linkschleuder #8

Sat, 22 Oct 2011 18:19:00 GMT

Kod – ein neuer Texteditor für OS X, der aussieht wie Chrome und recht dunkel ist. Noch in der Entwicklung, open-source und auf GitHub zu finden.
Rezise Safari – Presets für diverse Endgeräte. Sicher nützlich für Webentwickler. Kostet aber.
Unhosted – eine Gegenbewegung zu „you get our app, we get your data”
matekarte – eine Karte mit Mate-Lieferanten in deiner Nähe. Wirklich cool! :-)
Wikipedia lesbarer: GM Skript – etwas von mir gepimpt, damit es die gesamte Breite einnimmt.
The Node Beginner Book – A comprehensive Node.js tutorial
OCaml for the Masses – ich glaub, das nehm ich mir für dieses Semester vor. Rockt irgendwie. Schon.
Objective CAML Tutorial
yst - static websites from YAML and string templates – in Haskell geschrieben!1
Requests: HTTP for Humans – für python

Über Git und Mercurial und warum Windows und Java nerven (und Eclipse auch)

Sat, 22 Oct 2011 18:01:00 GMT

Ich finde es ja beinahe traurig, dass ich mich im 3. Semester als ‘was mit ~informatik-Student damit rumärgern muss, wieso ich beim kollaborativem Entwickeln darauf achten muss, dass das auch ja unter Windows geht. Denn Microsoft hat ganze Arbeit geleistet und selbst fortgeschrittene Informatik-Studenten (wohlgemerkt „angewandte Informatik”) sind nicht in der Lage, von dieser Linie abzuweichen. Man lebt ja in einer homogenen Umgebung. Sollen sich doch die anderen anpassen! Ja, und das mache ich dann auch mal wieder. Bei fünf (ich hatte Java mal in der Uni gehabt, und Delphi in der Schule) versus einen (also wir brauchen da jetzt Redmine, Git und ‘ne anständige Programmiersprache) bleibt dann nur noch Anpassen an die behinderte Windows Umgebung.

Leute, mit Windows kann man nicht programmieren! Windows ist wie Android und iOS ein ANTI-Programmier-Betriebssystem. Und Java übrigens auch! Denn wenn man mal anständig crossplattform mit Libs und so entwickeln will, dann merkt man auch ganz schnell, das compile once, run everywhere eher Slogan denn Realität ist. Aber wen interessiert denn schon Linux/Mac. Das sind ja nur Konkurrenten. Wenn’s auf Windows läuft, läuft es ja eh überall. Das ist auch eine Art crossplattform.

Die verwendete IDE ist nach kurzem Überlegen Eclipse geworden. Nicht, dass das irgendwie sinnvoll ist. Eclipse ist eine Krankheit. Aber was anderes hatten wir in dem Semester „Strukturiertes Programmieren” samt Tutorium „wie bediene ich Eclipe?” nicht gehabt. Und den Leuten Eigeninitiative zu zeigen wird wohl erst im Master funktionieren oder wenn der Kurs „Kompetenz für Informatiker” angeboten wird.

Dieses Eclipse hat neben einer hässlichen Oberfläche und 130 MB Größe allerdings noch keine Versionskontrollsysteme enthalten. Diese zwei Megabyte sind leider zu viel. Da es aber sinnvoll ist, als Gruppe verteilte Versionskontrolle zu nutzen, habe ich mich nach einem Plugin für Eclipse umgeschaut (Cygwin muss nicht sein). Gibt EGit und das scheint eine komplette Implementierung von Git in Java zu sein. Und das funktioniert dann nicht mit meinem Server, weil das SSL-Cert eine unbekannte Identität hat – und DAMIT konnte wohl NIEMAND rechnen!!1! Da sieht man wieder Enterprise-Entwickler bei der Arbeit. Einen hübschen Git-Client für Windows habe ich nicht gefunden, aber mir war TortoiseHG ein Name. Hübsches GUI, erfordert allerdings ein anderes Backend auf’m Server.

Aber ein Mercurial Server mit Redmine wie ich es mit Git habe, lässt sich nicht ohne weiteres implementieren. Das geht entweder mit Apache und dem Apache-only Auth-Handler Skript oder über HTTP Basic/Digest Auth. Das bringt mit Redmine aber nichts. Redmine nutzt sha1(sha1(passwd) + salt), was auch die sinnvollste Methode ist. Nun stehe ich da, sehe ein high sophisticated Webinterface (aka hg serve) und möchte eigentlich nur hg push und hg fetch machen. Von Redmine authentifiziert.

Ich hasse diese Enterprise-Software-Welt.

Grack + Redmine Auth = Git Smart HTTP++

Sat, 08 Oct 2011 14:39:00 GMT

So, nach gut zwei Wochen weiterem Probieren und Failen habe ich nun auch eine richtige Authentifizierung für non-Apache Webserver mittels Redmine. Ich nutze hierbei das neue Smart HTTP Transport Protokoll, das seit Git 1.6.6 unterstützt wird. Über SSL getunnelt ist es fast so sicher und genauso schnell wie die Übertragung über SSH oder Git-Daemon. Nur halt mittels plain HTTP, Webserver und etwas mod_proxy.

Weil schon die Installation abseits von Apache/Nginx eine Qual wegen nicht vorhandener Dokumentation war, will ich auch hier wieder dokumentieren, indem ich mein Setup als Beispiel angebe. Wie immer nutze ich lighttpd und eine Redmine-Installation Version 1.2.1, betrieben mit thin. Weil Hype cool ist, existieren Wrapper für git-http natürlich nur in nodejs und ruby. Argh. Naja, hab’ ich schon Ruby am Hals, nehm ich halt den letzteren. Mein Code baut auf maxlapshin/grack auf, das ist ein ungemergter Fork eines ungemergten Fork von schacon/grack x(

Schema

Mein angestrebtes URL-Layout sieht wie folgt aus:

/redmine                <- meine Redmine-Installation, HTTPS-getunnelt
/git/myproject.git      <- das Repository

Meine Ordnerstruktur ist so aufgebaut:

~/posativ.org/redmine/  <- die Redmine-Installation
~/posativ.org/grack/    <- dort liegt grack später™
~/repositories/git/myproject <- das Beispielprojekt

In der /etc/lighttpd/lighttpd.conf steht dann wieder das übliche:

$HTTP["host"] == "posativ.org" {

    # some conf here
    # index-file.names = ("index.html") und so weiter
    # mod_proxy ist erforderlich, logischerweise

    $HTTP["url"] =~ "/git" {
        proxy.server = ("" =>
            (("host" => "127.0.0.1", "port" => 7654)))
    }
}

Installation – Fortführung von dem hier

Damit das auch funktioniert, habe ich grack auch geforkt:

$ git clone https://github.com/posativ/grack ~/posativ.org/grack
$ thin config -c /home/www/posativ.org/grack/ -p 7654 -a 127.0.0.1 -e production \
  -l grack.log -C /etc/thin/grack.yml

Dann noch die config.ru anpassen. Das Teil ist so gepatcht, dass es SSL-Zertifikate nicht prüft, denn das tut es nämlich irgendwie falsch. Angegeben werden muss use_redmine_auth, redmine und in meinem Falle auch grack_suburi, denn es wird unter /git/myproject.git gehostet.

config = {
  :project_root          => "/home/www/repositories/git",
  :git_path              => '/usr/bin/git',
  :upload_pack           => true,
  :receive_pack          => true,

  :use_redmine_auth      => true,
  :redmine               => 'https://posativ.org/redmine',
  :grack_suburi          => '/git'
}

Dann noch ein schnelles

$ invoke-rc.d thin stop && invoke-rc.d thin start

und grack läuft über Port 7654 auf localhost und wird von Webserver getunnelt. Sogar mit SSL. Damit die Redmine-Authentifizierung auch läuft, muss die REST API aktiviert werden. Die findet sich unter Administration -> Konfiguration -> Authentifizierung -> REST Schnittstelle aktivieren. Denn was (mein) Grack macht, ist einfach https://redmine.tld/projects/myproject.xml mittels der Nutzerdaten aufrufen, das bei Zugriff auf dieses Projekt 200 Ok oder eben 403 Forbidden zurückgibt.

Usage

Das Handling ist jetzt noch etwas suboptimal, ich hoffe, es gibt dazu aber noch schöne Redmine-Plugins. Denn ein Git-Repository muss als --bare erstellt werden (Voraussetzung für HTTP):

$ cd ~/repositories/git
$ git init --bare myproject.git
$ # oder via git clone --bare ~/myproject myproject.git ein altes Projekt umwandeln

Dann lässt sich das Repository über https://domain.tld/git/myproject.git klonen und pushen. Ganz hübsch.

Goodbye Wuala

Wed, 05 Oct 2011 21:43:00 GMT

Mal ernsthaft. Wie übel muss man failen, um so eine Scheiße zu fabrizieren? Seit einem Jahr tut sich da nichts nennenswertes mehr. Andauernd wird von wir-haben-GROSSE-unterderhaube-sachen-gemacht!11 geredet und so elementare Dinge wie GUI und Backup & Sync Interface werden außer Acht gelassen. Wen haben die eigentlich als Vorbild? Hat DropBox/Azure/JungleDisk dauernd davon erzählt, wie toll sie im Backend funktionieren? Nein! Und das mit einem elementaren Unterschied: sie taugen als gute Backup-Lösung.

Was hat Wuala jetzt zu bieten? Eine unglaublich behinderte Java-GUI, enormen CPU-Verbrauch und nicht-zuende-entwickelte Gruppen/Social-Features. Und dann kam wer auf die Idee, ach lass’ uns doch mal so richtig tief ins Klo greifen, und das Trading-Feature („Ich tausche 100 GB und bekomme dafür 100 GB verteilt”) killen. Mir war so in Erinnerung, als dass das Hauptmerkmal beim Google Tech Talk war. Und jetzt? Ich kann mir auch ein paar Amazon S3 Instanzen zusammenklicken, einen Client in Python schreiben und etwas AES-Crypto anwerfen und das würde trotzdem besser laufen als ~~diese Scheiße~~ Wuala!

Ich kann das auch absolut nicht nachvollziehen. Sie nutzen ja dennoch weiterhin ihren undokumentierten, high secure (!11) Cryptree – dessen Implementierung sie btw auch irgendwann mal offenlegen wollten. Sicherlich. Der einzige Vorteil ist jetzt, dass sie nun das Dateigrößenlimit auf 100 GiB anheben (da eigentlich jede Datei vorher in Chunks gesplittet wird, eh ein Fail für sich, dass gerade das nicht lief) und auch wie-auch-immer-implementiert inkrementelle Backups erlauben (das ist eigentlich konzept-bedingt nicht möglich).

Naja, aber anscheinend hat Wuala irgendwelche Abnehmer gefunden. Die gehören sicherlich zur Kategorie der SAP und Microsoft-Nutzer. Halt freie Marktwirtschaft und immer schön ABER DIE DATEN BEI AMAZON LIEGEN JA GAR NICH IN EUROPA!!!111!! anprangern. Das ist so miserabel ins Gesicht gelogen. Einfach nur traurig:

We have strong security and privacy. If you want to have client-side-encryption and if you want to have your data stored in Europe, Wuala is your only option.

Genau!1 Noch einmal zum mitschreiben: mein rsync läuft mit einem Bruchteil der Leistung feature-reicher und zuverlässiger als irgendeine Version von Wuala in den vergangenen drei Jahren. Und sogar auf Servern innerhalb Deutschlands und meiner Wohnung!

Und ein weiteres mal sehe ich mich nach Alternativen um. Und jede davon wird angenehmer zu bedienen sein als Wuala. Zur Auswahl stehen jetzt rsync mit duplicity, Tarsnap als low-level Systeme und AeroFS (invite-only, ich hätt’ gern einen) sowie SparkleShare. Leider alles nix mit etwas social-dingens Support und ohne Backend. Hilft wohl nur selber coden.

Linkschleuder #7

Fri, 30 Sep 2011 09:57:00 GMT

ncurses Twitter client – bin ja nach earthquake nun erstmal bei Echofon im Firefox.
Icon Stocks – Creative Commons und so, sehr nützlich.
alternative (unabhängige) Top-Level-Domains – erfordert allerdings Anpassung der /etc/resolv.conf, aber ‘ne nette Idee.
FireWire attacks against Lion’s FileVault 2 – tja, aus diesem Grund habe ich FireWire entfernt. Ein potentielles Problem weniger.
collectd-Plugin für MongoDB – hab ich im Einsatz und funktioniert einwandfrei.
Kurzreferenzen bekannter Programmiersprachen – Übersicht – unter anderen mit PHP, Perl, Python, Ruby, Tcl, Lua, JavaScript, Io, C, C++, Objective C, Java, C# und ML, OCaml, Scala und Haskell
Warum wir Quantencomputer wirklich brauchen
a minimalist implementation of python in 64k of code – Q: What more could you possibly want? A: a pony?
WTForms – Form validation and rendering library in python. Syntax überzeugt, Name auch.
NodeBox – sowas wie Processing nur für python (und Mac-only).
A Gentle Introduction to SQL Using SQLite
HTML5 for journalists – via Schockwellenreiter
zsh, tab completion, remote hosts, and collaboration

sqlite dump mit python

Sat, 24 Sep 2011 11:28:00 GMT

Shell:

sqlite3 my.db
>> SELECT * FROM sqlite_master;

python:

import sqlite3, os

con = sqlite3.connect("my.db")
with open("dump.sql", "w") as f:
    for line in con.iterdump():
        f.write("%s\n" % line)

via stackoverflow. Denn ich stehe auf Kriegsfuß mit dieser dämlichen SQL-Logik. CouchDB und MongoDB ftw.

ForkLift as Finder replacement in Lion

Thu, 22 Sep 2011 09:17:00 GMT

Today, I did a short maintenance to my MacBook running OS X Lion. I found out, Macfuse is no longer supported and dead as well. But there is OSXFUSE, which installs without any problems. OpenPGP does not work for Mail, too and since the release of Lion (that’s about two months ago) there is no GPG support. Really embarrassing. After I’ve updated to Lion, I had iTunes and QuickTime, carefully removed, installed again and AppDelete was unable to remove it. I’ve updated to the last version and could remove this crappy software again – waiting for the next OS X update m(

Since I am using a Mac, I am using TotalFinder, because OS X’ Finder sucks a lot. Every time I use it. It feels like you must not handle your files. Unfortunately TotalFinder looks like ~~shit~~ Chrome and I don’t like Chrome’s UI and prefer Safari’s or Firefox’ tabbing style. I did another search for a Finder replacement and ended up with ForkLift – replacing Transmit and Archiver as well). To replace the Finder, I’ve made the following:

first, we need the Finder’s icon located in /System/Library/CoreServices/Dock.app/Contents/Resources/finder.png
convert it to an icon file (.icns) with png2icns finder.icns finder.png, which didn’t work for me so I used this cool web service
open you Applications folder, locate ForkLift and control-rightclick and select “show package content” and navigate to Contents/Resources/
backup the existing forklift.icns and move your converted finder.icns to forklift.icns

Now your ForkLift icon is identical to Finder. Lets remove the Finder from Dock.app.

cd to /System/Library/CoreServices/Dock.app/Contents/Resources/ and open DockMenus.plist.
change “finder-quit” and/or “finder-running” (don’t know, which one worked for me) to include

DockMenus.plist

<dict>
    <key>command</key>
    <integer>1004</integer>
    <key>name</key>
    <string>REMOVE_FROM_DOCK</string>
</dict>

do killall Dock which didn’t work for me or log out and in again to restart Dock.app
now you can rightclick the Finder’s icon and select remove from Dock
stick ForkLift to Dock.app