Wayback Cache Proxy
Ein Redis-gestützter Caching-Proxy für die Wayback Machine, der zuverlässigen Offline-Zugriff auf archivierte Webinhalte für Museumsausstellungen ermöglicht.
Rolle: Entwickler
Über das Projekt
Wayback Cache Proxy ist ein cachender HTTP-Proxy für die Wayback Machine des Internet Archive, entstanden aus der Erfahrung mit der Browser-Art-Ausstellung Choose Your Filter! am ZKM. Als das Internet Archive Ende 2024 nach DDoS-Angriffen und einem Datenleck offline ging, wurde klar, dass eine Ausstellung, die auf Echtzeit-Zugriff zur Wayback Machine angewiesen ist, ein lokales Fallback benötigt. Der Proxy ruft archivierte Seiten einmalig ab, speichert sie in Redis und liefert sie selbst aus. So läuft eine Ausstellung auch dann, wenn das Internet Archive nicht erreichbar ist.
Features
- Zweistufiger Redis-Cache: eine permanente kuratierte Ebene für geprüfte Ausstellungsinhalte und eine automatisch ablaufende Hot-Ebene für von Besuchern entdeckte Seiten
- Prefetch-Crawler: asynchroner Spider, der den Cache vor Ausstellungseröffnung aus Seed-URLs befüllt
- Modem-Geschwindigkeitsdrosselung: originalgetreue Simulation von 14.4k-, 28.8k-, 56k-, ISDN- und DSL-Verbindungen, von Besuchern auswählbar
- Inhaltstransformation: entfernt die Wayback-Machine-Toolbar, korrigiert Asset-URLs und bereinigt injizierte Skripte für saubere Darstellung
- Admin-Oberflächen: FastAPI-Dashboard für Fernverwaltung und eine eingebettete IE4-kompatible Oberfläche für den Einsatz vor Ort
- Live-Konfigurationsneuladung: Einstellungsänderungen über die Admin-Oberfläche werden ohne Neustart des Proxy wirksam
- URL-Allowlisting: beschränkt die navigierbaren Domains für kuratierte Ausstellungserlebnisse
Open Source
Veröffentlicht unter MIT-Lizenz auf dem GitHub von ZKM. Gebaut ist er für das Museum, die Architektur passt aber für jeden Fall, der zuverlässigen, offline-fähigen Zugriff auf archivierte Webinhalte braucht.