LiDAR Besuchertracking

Über das Projekt

Als 2020 die COVID-19-Pandemie Berührungsinteraktion und Kopfhörer in Museen verbot, brauchte das ZKM eine Möglichkeit, Kunstwerke auf Besucherpräsenz reagieren zu lassen — ohne physischen Kontakt. Ich entwickelte einen Einzelsensor-LiDAR-Prototyp mit einem wandmontierten Sensor, der Besucher erkennt und die Audiowiedergabe steuert: Einblenden bei Annäherung, Ausblenden beim Entfernen. Die ersten Einsätze waren in der Ausstellung „Negativer Raum” und der Sammlungspräsentation „Writing the History of the Future”.

2022 stellten Daniel Heiss und ich die Sensoren ZKM-intern vor. Bernd Lintermann (ZKM HertzLabor) erkannte das Potenzial und skalierte das Konzept zu einem vollständigen Multi-Sensor-Tracking-System mit verteilter Architektur, Kalibrierungswerkzeugen und fortgeschrittenen Tracking-Algorithmen. Ich trieb weiterhin die Feature-Anforderungen voran, entwickelte Schnittstellen zwischen dem Tracking-System und den Kunstwerken und war für das Produktions-Deployment verantwortlich.

Skalierung

• 2020 — Einzelsensor-Prototyp — mein ursprüngliches kontaktloses Interaktionssystem als direkte Lösung des COVID-Problems für audiobasierte Kunstwerke
• 2022 — Multi-Sensor-System — Bernd Lintermanns Erweiterung zu einem verteilten Tracking-Netzwerk mit nahtloser Besucherübergabe zwischen Sensorzonen
• 2023 — Renaissance 3.0 — 53 Sensoren über 1.400 qm, die bisher größte Installation

Technische Details

Die Sensoren sind kompakte (~4 cm), wandmontierte LiDAR-Module mit Infrarotlaser (augensicher, unsichtbar), die mit 10 Hz rotieren und Entfernungen messen. Mit ca. €120 pro Modul, 9 m Reichweite und 90 cm Montagehöhe bieten sie eine kosteneffektive Tracking-Lösung. Die Software läuft auf Linux und unterstützt verteilte Architekturen mit Raspberry Pi oder Rock Pi S als Knoten, die Sensordaten via UDP an einen zentralen Server übermitteln. Die Tracking-Daten werden über OSC, WebSockets, MQTT und InfluxDB verteilt.

Wissenschaftliche Präsentation

Bernd Lintermann und ich haben das System auf der Digital Museum Conference 2024 im Belvedere Wien vorgestellt: „Ein LiDAR-basiertes Werkzeug zur räumlichen Analyse der Ausstellungsnutzung.” Die Software wurde im November 2023 als Open Source über die GitHub-Organisation des ZKM veröffentlicht.