Benjamins Blog

Auf dem gestrigen Webmontag in Ulm habe ich Node.js vorgestellt, ein Framework für serverseitiges JavaScript für skalierbare Netzwerkanwendungen. Dabei hat es sich um eine eher kurze und oberflächliche Präesentation gehandelt, die die Grundidee des asynchroner I/O Operationen betonen sollte. Detailliertere Beiträge zu Node.js wird es aber in Kürze auf IOException.de geben.

An meiner Uni sind einige Webressourcen nur aus dem Intranet zugreifbar, das heißt man braucht als Client eine IP aus dem Uni-Netz. Um von extern darauf zuzugreifen, ist die Einwahl über ein VPN notwendig. Neben der klassischen "schwergewichtigen" Einwahl über einen VPN-Client gibt es noch die Möglichkeit, einen Web-VPN zu nutzen. Hier werden nach der Authentifizierung alle HTTP-Anfragen über eine spezielle Seite der Rechenzentrums getunnelt. Leider lässt nicht nur die Verfügbarkeit des Dienstes manchmal zu wünschen übrig, sondern auch die verfügbaren Bandbreiten machen es uninteressant für den Download größerer Paper.

Als Alternative hierzu ist mir die Möglichkeit begegnet, mithilfe des Application Level Port Forwardings von SSH Zugriffe zu tunneln. Durch den Flag "-D portnummer" erzeugt der SSH-Client beim Verbinden einen lokalen SOCKS-Proxy auf diesem Port, der über den SSH-Tunnel Requests weiterleitet. Endpunkt stellt der SSH-Server da. Mithilfe zusätzlicher Flags lässt sich außerdem ein Timeout unterdrücken.

Im Falle der Uni Ulm und einer Einwahl auf den Server des Rechenzentrums (KIZ) sieht der Aufruf so aus:

ssh -D 8800 -o ServerAliveInterval=60 s_login@login.rz.uni-ulm.de

Nach erfolgreichem Verbindungsaufbau steht dann lokal unter dem Port 8800 der SOCKS-Proxy zur Verfügung und kann im Browser eingetragen werden. Für eine dynamische Nutzung bieten sich unter Firefox Plugins wie FoxyProxy an. Hier lassen sich Regelsätze definieren, wann dieser Proxy benutzt werden soll, zum Beispiel für alle Uni-Seiten.

Vor etwa einem Monat habe ich zusammen mit Raimar und David die Seite www.IOException.de ins Leben gerufen, auf der wir unsere technischeren und Informatik bezogenen Beiträge aggregieren möchten.
Gerne nehmen wir auch noch weiter Mit-Blogger auf oder freuen uns auf Gastbeiträge, bei Interesse einfach melden.

Hier eine kleine Java-Methode, um Weiterleitungen des URL-Dienstes TinyURL aufzulösen. Der Methode wird die ID der URL als String übergeben, zurückgegeben wird ein URI-Objekt mit der entsprechenden Weiterleitung. Existiert die ID nicht, so wird eine IllegalArgumentException geworfen. Die Abfrage wird direkt auf HTTP-Ebene über die Methode HEAD durchgeführt. Aus diesem Grund sollte bei einem unsicheren Einsatz die ID zuvor überprüft werden, um Injektionen in den HTTP-Request zu verhindern.

	/**
	 * Resolves a TinyUrl redirect
	 * @author Benjamin Erb
	 * @param id http://tinyurl.com/{id}
	 * @return Redirected URI
	 * @throws IOException on network problems
	 * @throws IllegalArgumentException on unknown id 
	 */
	public static URL resolveTinyUrl(String id) throws IOException, IllegalArgumentException
	{
		Socket s = new Socket(InetAddress.getByName("tinyurl.com"),80);
		BufferedWriter w = new BufferedWriter(new OutputStreamWriter(s.getOutputStream()));
		BufferedReader r = new BufferedReader(new InputStreamReader(s.getInputStream()));
		w.append("HEAD /"+id+" HTTP/1.0\r\nHost: tinyurl.com\r\n\r\n").flush();
		String response;
		Matcher m;
		Pattern p = Pattern.compile("^Location:\\s([^\\r\\n]+)"); 
		while((response = r.readLine())  != null)
		{
			if((m = p.matcher(response)).find())
			{
				w.close();
				r.close();
				s.close();
				return new URL(m.group(1)); 
			}
		}		
		w.close();
		r.close();
		s.close();
		throw new IllegalArgumentException("Unknown TinyURL id");
	}

Hohe Platzierungen in der Google-Bildersuche sind prinzipiell ein erfreuliches Ergebnis. Leider führt das auch dazu, dass viele Personen die Bilder ohne weitere Nachfrage direkt weiternutzen. Noch schlimmer wird es allerdings, wenn das Bild direkt auf einer anderen Seite eingebunden wird. Dann geht nämlich der Traffic für das Bild auf mein Konto, auch wenn es auf einer anderen Seite eingebunden angezeigt wird. Und am schlimmsten ist es, wenn die Nutzer von sozialen Netzwerken wie MySpace die Bilder einbinden, dann kommt nämlich richtig viel Traffic zusammen. Durch das Apache-Modul mod_rewrite kann man jedoch Anfragen gezielt abweisen oder weiterleiten, indem in einer htaccess-Datei folgende Regeln definiert werden:

#mod_rewrite aktivieren
RewriteEngine on
Options +FollowSymlinks

#ERSTE REGELSATZ 
#Request als forbidden beantworten bei bestimmten Seiten (blacklisting)

#Regel trifft zu, wenn Datei von einer der gelisteten Seiten angefordert wurde 
RewriteCond %{HTTP_REFERER} ^http://(www\.)?(.*myspace\.(net|com)|.*hi5\.com|.*team-ulm\.de|.*friendster\.com|.*jappy\.de) [NC]
#In diesem Fall bei Bildern mit Forbidden[F] (403) antworten 
#und keine weiteren Regeln mehr anwenden[L]  
RewriteRule \.(jpe?g|gif|png)$ - [F,L]


#ZWEITER REGELSATZ
#Bei anderen fremden Seiten auf eigene Seite weiterleiten (whitelisting)

#Requests ohne Referer ausnehmen
RewriteCond %{HTTP_REFERER} !^$
#Requests von eigener Seite ausnehmen
RewriteCond %{HTTP_REFERER} !^http://(www\.)?eigenedomain\.de/.*$ [NC]
#Alle anderen Requests auf eigene Seite umleiten[R]
# und keine weiteren Regeln mehr anwenden[L]
RewriteRule .*\.(jpe?g|gif|png)$ http://www.eigenedomain.de/ [R,L]

Dieser Ansatz verfolgt mehrere Ziele. Er differenziert zwischen bestimmten Seiten, deren Requests direkt mit einem 403 Forbidden abgewiesen werden (hier stehen bekannte Community-Seiten mit vielen Referers), dann einer allgemeinen Weiterleitung auf die eigene Startseite bei unbekannten Referern. Diese Regel trifft auch auf die Google-Bildersuche-Ergebnisliste zu. Somit bekommt man die Suchenenden zunächst auf die eigene Seite, bevor sie die Bilder in voller Größe sehen können. Die dritte Möglichkeit sind Aufrufe der Bilddateien von der eigenen Webseite ohne ohne Referer, auf die keine Regel zugrifft. Diese Anfragen werden somit mit dem gewohten Ergebnis beantwortet.

Was stk so zu sagen hat, erfährt man ab sofort unter stefan.bloggt.es

Seit fünf Jahren habe ich nun meine eigenen Domain. Was anfangs nur für eine "seriöse" E-Mail-Adresse diente, wurde ziemlich schnell auch eine kleine Homepage, die sich schnell mit mehr oder weniger sinnvollem Inhalt füllte. Mit steigendem Interesse für Web-Technologien stieg im Herbst 2004 auch meine Unzufriedenheit mit der bisherigen Seite und ich entschied mich dazu die Seite von Grund auf neu zu gestalten. Das Ergebnis steht nun seit Oktober 2004 im Internet, und ist größtenteils auch heute die Basis dieser Seite. Später integriert wurde dann noch eine externe Blog-Software (Serendipity). Auf archive.org sind übrigens genug Seiten archiviert, um die Entwicklung nachzuvollziehen.

Hier noch ein paar interessante Statistiken. Im April 2007 hatte diese Seite 207.032 Hits (+43% gegenüber dem Vorjahr) bei etwas über 8 GB Traffic. 10.486 Referrer waren direkte Google-Suchabfragen, wobei die Top-Suchbegriffe meist Bilder oder Wallpaper sind.