Wayback Cache Proxy
Ein Redis-gestützter Caching-Proxy für die Wayback Machine, der zuverlässigen Offline-Zugriff auf archivierte Webinhalte für Museumsausstellungen ermöglicht.
Rolle: Entwickler
Über das Projekt
Wayback Cache Proxy ist ein cachender HTTP-Proxy für die Wayback Machine des Internet Archive, entwickelt für die Browser-Art-Ausstellung Choose Your Filter! am ZKM. Als das Internet Archive Ende 2024 nach DDoS-Angriffen und einem Datenleck wochenlang offline ging, wurde klar, dass eine Ausstellung, die auf Echtzeit-Zugriff zur Wayback Machine angewiesen ist, ein lokales Fallback benötigt. Der Proxy ruft archivierte Seiten einmalig ab, speichert sie in Redis und liefert sie unabhängig aus — so läuft die Ausstellung zuverlässig, unabhängig von der Verfügbarkeit des Internet Archive.
Features
- Zweistufiger Redis-Cache — eine permanente kuratierte Ebene für geprüfte Ausstellungsinhalte und eine automatisch ablaufende Hot-Ebene für von Besuchern entdeckte Seiten
- Prefetch-Crawler — asynchroner Spider, der den Cache vor Ausstellungseröffnung aus Seed-URLs befüllt
- Modem-Geschwindigkeitsdrosselung — originalgetreue Simulation von 14.4k-, 28.8k-, 56k-, ISDN- und DSL-Verbindungen, von Besuchern auswählbar
- Inhaltstransformation — entfernt die Wayback-Machine-Toolbar, korrigiert Asset-URLs und bereinigt injizierte Skripte für saubere Darstellung
- Admin-Oberflächen — FastAPI-Dashboard für Fernverwaltung und eine eingebettete IE4-kompatible Oberfläche für den Einsatz vor Ort
- Live-Konfigurationsneuladung — Einstellungsänderungen über die Admin-Oberfläche werden ohne Neustart des Proxy wirksam
- URL-Allowlisting — beschränkt die navigierbaren Domains für kuratierte Ausstellungserlebnisse
Open Source
Veröffentlicht unter MIT-Lizenz auf dem GitHub von ZKM. Obwohl für den Museumseinsatz entwickelt, unterstützt die Architektur jedes Szenario, das zuverlässigen, offline-fähigen Zugriff auf archivierte Webinhalte erfordert.