Aufgabe
Für unseren Kunden beo und dessen Endkunden Evonik AG soll ein individuelles Webtracking für das beocms entwickelt werden. Die hauptsächliche Aufgabe ist, ein intuitiv nutzbares Analysewerkzeug bereitzustellen, mit der die Fachanwender sehr einfach die für sie relevanten Zahlen ermitteln können.
Herausforderung
Technisch ist das eine kleine Herausforderung, weil sich zig Millionen Datenpunkte nicht gut per SQL in einem normalen RDBMS aggregieren lassen - bei Tests mit ca. 60 Mio. Datensätzen dauerte das ca. 3 Minuten, was eine interaktive Nutzung ausschließt.
Lösung
Diese Aufgabe fällt in den Bereich OLAP (Online analytical processing), in dem spezielle Lösungen entstanden sind, unter anderem einige sehr leistungsfähige Open-Source-Projekte.
Nach kurzer Recherche stießen wir wieder auf ClickHouse, ein Projekt, über das Carsten Blüm, Leiter digitale Prozesse bei der Elbphilharmonie auch schon in seinem Vortrag bei der PHP- und Symfony-Usergroup Hamburg im Oktober berichtet hat.
Erste Tests waren dann auch direkt sehr vielversprechend: 20 Millionen Datensätze wurden in unter einer Sekunde aggregiert.
ClickHouse werden wir jetzt wohl häufiger in unseren Konzepten berücksichtigen.
Hier ist erklärt, warum ClickHouse so schnell ist: https://clickhouse.com/docs/en/concepts/why-clickhouse-is-so-fast
Über beo
Die beo Gesellschaft für EDV-Beratung, -Schulung und -Entwicklung mbH ist ein kleines Softwareunternehmen, das aus einem Schulungsbetrieb entstanden ist. Die Erfahrungen aus unzähligen Anwenderschulungen fließen heute in die Entwicklung von IT-Lösungen, die das Berufsleben der Benutzer wirklich verbessern.
Über das beocms
Das beocms ist ein auf Basis von PHP und Symfony entwickeltes Multisite-CMS, das bei der Evonik AG von rund 150 Redakteuren zur Pflege von über 100 Websites im Web und Intranet eingesetzt wird.
Über Evonik
Die Evonik Industries AG ist börsennotiertes, global operierendes Unternehmen der Spezialchemie mit Hauptsitz in Essen.
Über mindworks
mindworks ist Spezialist für PHP- und Symfony-Entwicklung und als Dienstleister für beo maßgeblich an der technischen Umsetzung des beocms beteiligt.