Das Internet im Container

SunMD alias Project BlackBox Mitte 2005 nahm das Internet Archive ein StorageSystem von Capricorn mit einer Kapazität von 1 PByte in Betrieb. Die PetaBox bestand aus 600 Clusterknoten mit insgesamt rund 2.500 Festplatten. Nun migriert das Internet Archive, das eines der am schnellsten wachsenden digitalen Archive der Welt ist, auf das Sun Modular Datacenter (SunMD).

Das SunMD kommt in einem Standardcontainer daher und kann mit zusätzlichen Containern ausgebaut werden. Der erste Container beherbergt ein Storage-System mit einer Kapazität von rund 2 PByte. Es steht auf Suns Campus in Santa Clara (Kalifornien).

Sun Fire X4500 Der Container beherbergt 60 Sun-Fire-X4500-Storage-Server, von denen jeder auf vier Höheneinheiten 48 SATA-Festplatten mit 48 TByte Speicherkapazität unterbringt. Als Prozessor kommt AMDs Opteron mit zwei Kernen zum Einsatz. Als Betriebssystem kommt Solaris 10 mit ZFS als Dateisystem dazu.

Das neue Rechenzentrum des Internet Archive soll rund 500 Anfragen pro Sekunde beantworten und mit dem steigenden Platzbedarf skalieren, denn das Internet Archive wächst derzeit um mehr als 1 PByte pro Jahr. Das Internet Archive besteht aus rund 120 Milliarden Schnappschüssen aus zwölf Jahren, die unkomprimiert rund 3,5 PByte Speicherplatz belegen, komprimiert sind es rund 1,5 PByte.

Gegründet wurde das Internet Archive 1996 von Brewster Kahle mit dem Ziel, das Internet zu archivieren, das heißt, regelmäßige Schnappschüsse aller verfügbaren Webseiten zu speichern. Heute speichert es zudem Bilder und Videos. Die Wayback-Machine dient als öffentliche Schnittstelle zum Internet Archive und erlaubt es, alte Versionen von Webseiten zu betrachten.