DATA-WAREHOUSING MITTELS HADOOP

Die Herausforderung bestand darin, den Kunden auf dem Weg aus der klassischen DWH-Architektur in das moderne Data-Warehousing mittels Hadoop zu begleiten. Neben dieser Anforderung sollte auch das tages- und monatsbasierte Berichtswesen um ein untertägiges Reporting und Dashboarding erweitert werden, welches bestimmte KPIs in annährend Echtzeit visualisiert. Als Datenquellen dienten hier sowohl interne OLTP-Daten, welche unter anderem Transaktionen von Geschäftsvorgängen enthielten, als auch höherwertige Daten aus dem bestehenden OLAP-System. Diese Daten sollten zudem durch externe Tracking- und Marktdaten ergänzt werden, um so ein ganzheitliches Bild auf das Unternehmen, bzw. das entsprechende Geschäftsfeld zu bieten.
Neben dieser gewünschten Beratungsleistung, ging es auch darum eine Big Data-Roadmap für die nächsten Jahre zu erstellen, welche den wachsenden Anforderungen an Personalisierung und Individualisierung entspricht.

Methoden und Technologien:
Flume, HDFS, Hive, Kafka, MapReduce, Pig, Spark