Ziggurat – KI-gestützte Optimierungsplattform für urbane Entwässerung
Konzeption und Umsetzung einer produktionsfähigen KI-Plattform inklusive Cloud-Infrastruktur, CI/CD mit Blue/Green Deployment, Identity-Management, Observability-Stack und verteilter Datenarchitektur.
Problem
Die Planung urbaner Entwässerungssysteme erfordert die Verarbeitung großer Mengen heterogener Daten (Geodaten, Simulationsdaten, Sensordaten). Bestehende Lösungen sind häufig isoliert, schwer skalierbar und nicht cloud-native. Gleichzeitig stellen rechenintensive Optimierungsalgorithmen hohe Anforderungen an Architektur, Deployment-Strategie und Monitoring.
Lösung
Entwicklung einer cloud-nativen, KI-gestützten Plattform zur Simulation und Optimierung von Entwässerungssystemen. Die Architektur wurde konsequent auf produktionsreifen Betrieb ausgelegt: automatisierte Infrastruktur, Blue/Green Deployment, Observability-Stack, Security-by-Design und klar getrennte Worker-Prozesse.
Umsetzung
Die Plattform wurde als verteiltes, containerisiertes System mit klarer Trennung von API, Worker-Services und Infrastrukturkomponenten umgesetzt.
• Backend & API:
- Entwicklung einer RESTful API mit Python (Flask)
- Klare Service-Struktur für Simulation, Optimierung und Datenzugriff
- SQLAlchemy als ORM
- Token-basierte Authentifizierung über Keycloak als zentraler Identity-Provider
• Datenarchitektur:
- MySQL für relationale Kern- und Projektdaten
- MongoDB für Geodaten und flexible Strukturen
- Redis als High-Performance-Caching-Layer
- S3-kompatibler Objektspeicher für große Simulationsartefakte
- RabbitMQ als Message-Broker zur Entkopplung rechenintensiver Prozesse
- Python Background Worker für asynchrone Berechnungen und Optimierungsjobs
• Cloud & Infrastruktur:
- Deployment in der Hetzner Cloud
- Infrastructure-as-Code mit Terraform (Provisionierung)
- Konfigurationsmanagement mit Ansible
- Containerisierung aller Services mit Docker
- Netzwerk- und Sicherheitsarchitektur für isolierte Service-Kommunikation
• CI/CD & Deployment-Strategie:
- GitLab CI/CD Pipeline mit automatisierten Build-, Test- und Deploy-Stages
- Blue/Green Deployment für Zero-Downtime-Releases
- Automatisierte Rollback-Strategien
- Container-Registry-Integration
• Observability & Qualitätssicherung:
- CheckMK zur Infrastruktur- und Serviceüberwachung
- Graylog zur zentralen Log-Aggregation
- Sentry für Exception-Tracking und Error-Monitoring
- SonarQube zur kontinuierlichen Codequalitätsanalyse
- Metrikbasierte Überwachung kritischer Systemparameter
Besonderer Fokus lag auf Skalierbarkeit rechenintensiver Optimierungsprozesse, reproduzierbarer Infrastruktur und professionellem Regelbetrieb in einer Forschungs- und Produktionsumgebung.
Video Einblick
Screenshots
Projekt Infos
Kunde
Sustainable Water Infrastructure Solutions
Status
Produktiver Rollout / Skalierungsphase
Technologien
Plattformbezug
Relevant für SaaS- und Plattformteams: Architekturentscheidungen, Wartbarkeit, Automatisierung, Betriebsfähigkeit und technische Risiken.
Produktionsreife Plattform aufbauen?
Ich konzipiere und realisiere SaaS- und Datenplattformen inklusive CI/CD, Infrastructure-as-Code, Monitoring und produktionsreifem Regelbetrieb.