Kategorie: Werkzeuge
-
GenRawVault: wie man aus einer Steuerdatei ein ganzes DWH generieren kann
In meinem letzten Beitrag Willibald-Data: Übernahme der Kunden ins Data Warehouse habe ich am Beispiel der Schnittstelle für Kundendaten aus der Willibald Challenge beschrieben, wie diese mit Hilfe von dbt und dem dbt-Plugin AutomateDV in den Raw Vault des Data Warehouse übernommen werden können. Und schon in meinem Beitrag Die Kraft der Abstraktion habe ich…
-
Willibald-Data: Übernahme der Kunden ins Data Warehouse
In diesem Beitrag möchte ich, wie zuvor bereits angekündigt, ins Detail gehen und zeigen, wie wir die Daten von Willibald in das DWH übernehmen. Der erste Schritt der Übernahme ins DWH ist das Exportieren der Daten aus dem operativen System von Willibald in die CSV-Dateien. Dieser Schritt wird hier nicht beschrieben. Die CSV-Dateien der Schnittstellen…
-
Beispieldaten für ein Data Warehouse
Um ein Data Warehouse aufzubauen und seine Funktionalität zu zeigen, benötigt man einen Datenbestand, der sich über die Zeit ändert. Ich habe mich lange gefragt, was für einen Datenbestand man dafür verwenden könnte. Die Daten sollten sinnvoll und frei verfügbar sein. Eine erste Idee war, die Strommarktdaten von Deutschland zu verwenden, die von der Bundesnetzagentur…
-
Die Kraft der Abstraktion
In den letzten Artikeln, die ich hier veröffentlicht habe, ging es immer auch darum, wie man die Wirklichkeit betrachtet. Welche Strukturen legt man über die wirklichen Dinge, die man beobachtet, um Gemeinsamkeiten oder Unterschiede zwischen den beobachteten Dingen zu erkennen? Welche Muster glaubt man zu erkennen? Was ist der Vorteil davon, wenn man ein vereinfachendes…
-
Ein DWH mit git, Linux, Docker, PostgreSQL, dbt und AutomateDV
Was braucht man, um ein Data Warehouse (DWH) zu betreiben? Ich stelle ihnen hier eine Lösung vor, die einen virtuellen Server benötigt, auf dem das DWH betrieben werden kann. Außer diesem virtuellen Server, für den monatliche Kosten anfallen, den Personalkosten für die DWH-Mitarbeiter und den Kosten für Training und Beratung werden nur Komponenten eingesetzt, die…