Was kostet ein DWH?

In den letzten Beiträgen dieser Serie habe ich beschrieben, nach welchen Prinzipien und mit welchen Tools man ein Data Warehouse (DWH) aufbauen kann, das inkrementell aufgebaut wird, dadurch schnell erste nutzbare Resultate bringt, durch die Nutzung von Open Source Software wenig kostet und damit gut für KMUs geeignet ist.

In diesem Beitrag beschreiben wir ein Szenario, wie ein KMU ein Data Warehouse in einem festen Zeitplan und zu kalkulierbaren Kosten aufbauen kann.

Wir gehen dabei von folgenden Annahmen aus:

Es gibt einen Verantwortlichen, der das DWH im Unternehmen fachlich betreut. Er ist derjenige, der die Inhalte definiert und priorisiert und der in der Unternehmensleitung über das DWH berichtet. Er hat auch ein Verständnis für das DWH-Konzept mit Data Vault 2.0. Diese Rolle muss intern besetzt sein.
Es gibt einen Verantwortlichen für die technische Infrastruktur, der sicherstellt, dass die Plattform für das DWH zur Verfügung steht, die SLAs eingehalten werden und der das Monitoring der DWH-Prozesse durchführt.
Die Verantwortlichen für die Kennzahlen des Unternehmens, die im DWH abgebildet werden sollen, müssen für den Aufbau des DWH zur Verfügung stehen.
Für Aufbau und Betrieb des DWH muss über die ganze Lebensdauer des DWH ein Budget zur Verfügung stehen. Dieses Budget bestimmt, mit welcher Geschwindigkeit das DWH ausgebaut werden kann.

Wenn diese Voraussetzungen gegeben sind, steht einem erfolgreichen Aufbau eines DWH nichts im Wege.

In der Aufbauphase werden die fachlich und technischen Verantwortlichen von uns gecoacht.

Kostenübersicht

Fachlich Verantwortlicher
1/3 Vollzeitstelle kontinuierlich
Technisch Verantwortlicher
1/6 Vollzeitstelle kontinuierlich
Weitere Mitarbeiter im DWH-Team
1/2 Vollzeitstelle, verteilt über die beteiligten Fachbereiche
Virtueller Server für die Docker-Umgebungen
15 € / Monat
DWH-Speicherplatz / 500 GB Storage
6 € / Monat
Coaching in der Aufbauphase
5 bis 10 PT Beratungsaufwand / Monat für ca. 6 bis 12 Monate

Skizze für das Vorgehen

In einem ersten Meeting werden die fachlich und technisch Verantwortlichen benannt.
Mit dem fachlich Verantwortlichen wird festgelegt, welche Informationen aus den operativen Systemen zuerst im DWH bereitgestellt werden sollen.
Mit dem technisch Verantwortlichen wird festgelegt, was für Server und Datenspeicher für das DWH bereitgestellt werden sollen.
Die technisch und fachlich Verantwortlichen bauen ein Backlog auf, in dem die Aktivitäten geplant werden.
Das DWH-Team konstituiert sich und beginnt mit der Umsetzung in wöchentlichen Sprints.

Wir verfolgen bei unserem Vorgehen einen agilen Ansatz. Das bedeutet z.B., dass wir eine Schnittstelle aus einem operativen System identifizieren, diese Schnittstelle dann beschreiben und in die Persistant Staging Area des DWH überführen. Wir beschreiben die Staging Area für diese Schnittstelle mit den darin vorhandenen Natural Keys und übernehmen die Informationen direkt in den Raw Vault mit seinen Hubs, Links und Satellites. Auf diese Weise können wir die ersten Informationen bereits nach kurzer Zeit im DWH bereitstellen. So werden bereits zu diesem Zeitpunkt Auswertungen im DWH möglich, die immer auch zu weiteren Fragen führen, die dann zu einer inkrementellen Verbesserung des DWH beitragen.

Durch diese Vorgehensweise wird die Zeit von der Bereitstellung einer neuen Schnittstelle aus einem operativen System bis zur Verfügbarkeit der Informationen im Raw Vault möglichst kurz gehalten.

Für die Auswertung der Daten des DWH werden Data-Marts aufgebaut, die die Informationen für den jeweiligen Anwendungsfall zur Verfügung stellen. Dabei werden auch Transformationen durchgeführt, die die Daten des DWH für den jeweiligen Anwendungsfall aufbereiten, beispielsweise in Form eines Star-Schemas für einen Controlling-Mart oder in Form der Report-Tabellen für einen Reporting-Mart.

Wenn sich herausstellt, dass in einem Data-Mart Transformationen durchgeführt werden, die auch in anderen Marts benötigt werden, dann können diese in den Business Vault des DWH verlagert werden und stehen so für alle Anwendungsfälle zur Verfügung.

Ziele des Coachings

Zu Beginn der Aufbauphase wird das DWH-Team dabei angeleitet, die DWH-Infrastruktur bereitzustellen und die Schnittstellen aus den operativen Systemen zu beschreiben.

Danach wird das DWH-Team dabei gecoacht, die Struktur des DWH so zu verstehen, dass es in der Lage ist, den Aufbau und die Weiterentwicklung des DWH eigenständig durchzuführen.

Budgetplanung

In vielen “gut organisierten” Unternehmen wird im 3. Quartal jedes Jahres das Budget für das kommende Jahr geplant. Wenn Sie in so einem Unternehmen arbeiten, und im kommenden Jahr ein DWH aufbauen wollen, dann beantragen Sie jetzt am besten das hier beschriebene Budget und fangen Sie zu Beginn des neuen Jahres an, das DWH aufzubauen, dann können Sie bereits zu Ende des ersten Quartals 2025 erste Ergebnisse präsentieren.

Und wenn Sie in einem weniger “gut organisierten” Unternehmen arbeiten, in dem Sie nicht bis zum Beginn des neuen Jahres warten müssen, dann fangen Sie doch gleich an und präsentieren Sie die ersten Ergebnisse aus ihrem DWH zum Jahres-Kickoff ihres Unternehmens im Januar 2025.

Infrastruktur

Für die Kosteneinschätzung eines vServers (virtueller Server) für ein Data Warehouse mit dbtVault müssen wir einige Faktoren berücksichtigen. Die Kosten können je nach Anbieter und Leistung stark variieren.

Hier eine grobe Übersicht:

Basis-vServer:
4 vCPUs
16 GB RAM
100 GB SSD Speicher
Geschätzte Kosten: 15 – 60€ pro Monat

Leistungsfähigerer vServer:
8 vCPUs
32 GB RAM
200 GB SSD Speicher
Geschätzte Kosten: 25 – 120€ pro Monat

High-Performance vServer:
16 vCPUs
64 GB RAM
500 GB SSD Speicher
Geschätzte Kosten: 40 – 250€ pro Monat

Zusätzliche Kosten die zu beachten sind:
Datenübertragung:
Oft gibt es ein Inklusivvolumen, darüber hinaus fallen zusätzliche Kosten an.

Backups:
Je nach Anbieter können zusätzliche Kosten für automatische Backups anfallen.

Betriebssystem-Lizenzen:
Falls Sie ein kostenpflichtiges OS wie Windows Server benötigen.

Beachten Sie, dass diese Preise Schätzungen sind und je nach Anbieter und Region variieren können. Für ein produktives Data Warehouse könnte ein leistungsfähigerer Server oder sogar eine Cluster-Lösung erforderlich sein.

Für eine detaillierte Aufstellung helfen wir Ihnen gerne bei der Planung.

Investitionsvorhaben: Aufbau eines DWH

Kurzbeschreibung: Es wird ein DWH für das Unternehmen aufgebaut. Das Konzept basiert auf Data Vault 2.0. Dieses Konzept wird unter Nutzung der freien Software-Tools dbt und AutomateDV in einer Docker-Umgebung umgesetzt. Die Aufbauphase dauert ein Jahr. Erste produktive Resultate werden bereits nach drei Monaten zur Verfügung stehen.

Kostenplanung:

Personalkosten: ein FTE (Full Time Equivalent)
Diese Kapazität wird für den Aufbau und den Betrieb des DWH benötigt. 1/3 davon werden für die fachliche Steuerung, 1/6 für die technische Steuerung und die restliche Hälfte für die Zuarbeit der Fachabteilungen benötigt.
Hardware-Kosten – Leistungsfähigerer vServer:
- ein Virtueller Server
  - 8 vCore (x86 oder ARM)
  - 32 GB ECC RAM
  - 500 GB Storage
  - monatliche Kosten: 100 €
Coaching-Kosten: 60 bis 120 Tage externes Coaching

Fazit

Was kostet also ein DWH?

Es kostet

ca. 80.000 €/Jahr für einen festen Mitarbeiter (aufgeteilt auf fachliche und technische Skills und die Zuarbeit aus den Fachbereichen) und
ca. 1.200 €/Jahr für das, was der Speicherbedarf und der Server für das DWH kostet. Und dann kommen noch
ca. 90.000 bis 180.000 € in der Aufbauphase für das Coaching des DWH-Teams dazu.

Das Konzept sorgt für niedrige kontinuierliche Betriebskosten für das DWH. Durch die Nutzung von freier Software und am Markt etablierter Komponenten ohne wiederkehrende Lizenzgebühren bestehen die Kosten überwiegend aus den Kosten für die internen Mitarbeiter, die das DWH betreiben und weiterentwickeln. Dazu kommt eine “Anschubfinanzierung” für das externe Coaching, das für schnelle Ergebnisse und eine steile Lernkurve für die internen Mitarbeiter des Unternehmens sorgt.