Tintenfische für freies Wissen
WMDE allgemein
19. Dezember 2007
60.000 Euro haben die neuen Rechner gekostet, die als Zwischenspeicher (Cache Proxies/Squids = “Tintenfisch“) eingesetzt werden. Sie ergänzen die bereits bestehenden 15 Squid-Rechner, die ebenfalls von Wikimedia Deutschland zur Verfügung gestellt werden. Da die neuen Maschinen bessere Leistungsdaten haben (Intel Xeon Dual-Core 2.0 Ghz, 16 GB Ram, 4×73 GB Disk 15000 RPM) konnten die bestehenden Kapazitäten mehr als verdoppelt werden.
Dies war auch dringend nötig: Die Zugriffe auf Wikimedia-Projekte steigen weiterhin an. Mit sieben Milliarden angezeigten Artikeln pro Monat müssen die Wikimedia-Server mehr als 50.000 Anfragen pro Sekunde (!) verkraften. Die bisherige Kapazität war nahezu erschöpft.
Übersicht über die Infrastruktur des Amsterdamer Rechenzentrums (Squids: unten rechts)
Weltweit sorgen 90 Squid-Proxies dafür, dass die Inhalte der Wikimedia-Projekte möglichst zügig ausgeliefert werden können. 10 Stück – gespendet von Yahoo! (2005) – stehen im Wikimedia-Rechenzentrum in Seoul und versorgen die asiatischen Nutzer. Unsere 30 Rechner in Amsterdam beliefern Europa, der Rest der Welt wird von 50 Squids aus den USA bedient.
Der allergrößte Teil der Nutzer greift unangemeldet auf die Seiten zu, so dass keine Verbindung zu einem Datenbankserver notwendig ist. Stattdessen wird aus dem Zwischenspeicher die letzte “statische” Version ausgeliefert. Dies entlastet die zentralen Datenbankserver ungemein. Alleine in Europa laufen 80-98 % aller Wikipedia-Zugriffe über die Amsterdamer Rechner. Ohne eine Zwischenspeicherung von Inhalten würde die Wikipedia unter den vielen Anfragen innerhalb weniger Sekunden zusammenbrechen.
PS: Momentan laufen nur 29 Server, da eines der neuen Geräte einen Defekt hat (vermutlich am Netzwerkinterface). Mark kümmert sich drum.
Wurde schon einmal über Varnish (http://en.wikipedia.org/wiki/Varnish_cache) nachgedacht? Wenn ja, was sind die Gegenargumente?
Was der Autor von Varnish über Squid zu sagen hat (http://varnish.projects.linpro.no/wiki/ArchitectNotes) kann ich durchaus nachvollziehen.
[…] e.V. die jährlichen Spendengelder benötigt, wird jetzt im Wikimedia-Blog fündig: Tintenfische für freies Wissen. Für 60.000 Euro konnten 15 neue Server für die Wikipedia angeschafft werden, die vor […]
Ja, aber die Mac-User wollen ja nicht :-P
Zeit für einen Systemwechsel? :-)
Schade. Danke.
Torsten: OmniGraffle (MacOS X only)
Nette Grafik – womit wurde die erstellt?