Autor: Christoph Oberle
-
Multi-Active Satellites in GenRawVault
In unserem Projekt zur Data Warehouse Automation verwenden wir unseren Generator GenRawVault (die Schema-Version 2 ist hier beschrieben) um die Data Warehouse Objekte des Raw Vault zu erzeugen. Da dieser Generator bisher noch keine Multi-Active Satellites erzeugen konnte, war es nicht möglich, die Aufgabe „Multi-Active Satellite“ der Willibald Challenge umzusetzen: Stattdessen hatten wir an der…
-
DRY and CoC
Don’t repeat yourself Dieser Satz ist die Quintessenz des „DRY Principle of Software Development“. Eine Beschreibung dazu gibt es hier bei Wikipedia. Es geht dabei darum, dass man in einem System den gleichen Code nicht mehrfach schreibt, sondern, dass es eine Stelle gibt, an der der Code steht und dieser Code im System immer wieder…
-
Was kostet ein DWH?
In den letzten Beiträgen dieser Serie habe ich beschrieben, nach welchen Prinzipien und mit welchen Tools man ein Data Warehouse (DWH) aufbauen kann, das inkrementell aufgebaut wird, dadurch schnell erste nutzbare Resultate bringt, durch die Nutzung von Open Source Software wenig kostet und damit gut für KMUs geeignet ist. In diesem Beitrag beschreiben wir ein…
-
GenRawVault: wie man aus einer Steuerdatei ein ganzes DWH generieren kann
In meinem letzten Beitrag Willibald-Data: Übernahme der Kunden ins Data Warehouse habe ich am Beispiel der Schnittstelle für Kundendaten aus der Willibald Challenge beschrieben, wie diese mit Hilfe von dbt und dem dbt-Plugin AutomateDV in den Raw Vault des Data Warehouse übernommen werden können. Und schon in meinem Beitrag Die Kraft der Abstraktion habe ich…
-
Willibald-Data: Übernahme der Kunden ins Data Warehouse
In diesem Beitrag möchte ich, wie zuvor bereits angekündigt, ins Detail gehen und zeigen, wie wir die Daten von Willibald in das DWH übernehmen. Der erste Schritt der Übernahme ins DWH ist das Exportieren der Daten aus dem operativen System von Willibald in die CSV-Dateien. Dieser Schritt wird hier nicht beschrieben. Die CSV-Dateien der Schnittstellen…
-
Der eBook-Reader Tolino Vision 6 und die Nachhaltigkeit
Seit drei Jahren hat meine Frau einen Tolino Vision 6, mit dem sie gerne Bücher liest, wo es sonst nicht so einfach wäre. Dieses Gerät hat schon länger nicht mehr so richtig gearbeitet: Probleme beim Aufladen, Einfrieren beim Lesen, etc. Und jetzt hat er sich gar nicht mehr richtig einschalten lassen und ist bei diesem…
-
Die Kraft der Abstraktion
In den letzten Artikeln, die ich hier veröffentlicht habe, ging es immer auch darum, wie man die Wirklichkeit betrachtet. Welche Strukturen legt man über die wirklichen Dinge, die man beobachtet, um Gemeinsamkeiten oder Unterschiede zwischen den beobachteten Dingen zu erkennen? Welche Muster glaubt man zu erkennen? Was ist der Vorteil davon, wenn man ein vereinfachendes…
-
Ein DWH mit git, Linux, Docker, PostgreSQL, dbt und AutomateDV
Was braucht man, um ein Data Warehouse (DWH) zu betreiben? Ich stelle ihnen hier eine Lösung vor, die einen virtuellen Server benötigt, auf dem das DWH betrieben werden kann. Außer diesem virtuellen Server, für den monatliche Kosten anfallen, den Personalkosten für die DWH-Mitarbeiter und den Kosten für Training und Beratung werden nur Komponenten eingesetzt, die…
-
Data Vault 2.0
Auf deutsch übersetzt ist ein Data Vault ein Datentresor. Das bedeutet wohl, dass die Daten sicher sind, dass sie nicht mehr verloren gehen. In Wikipedia kann man über „Data Vault“ von Dan Linstedt folgendes lesen: Data Vault ist eine Modellierungstechnik für Data Warehouses, die insbesondere für agile Data Warehouses geeignet ist. Sie bietet eine hohe Flexibilität bei Erweiterungen, eine…
-
Reporting für kleinere Unternehmen
Ein weit verbreitetes Problem beim Reporting in Unternehmen ist es, dass die in den Berichten dargestellten Kennzahlen nicht gut miteinander vergleichbar sind. Eine mögliche Ursache dafür könnte sein, dass die Datenbasis für die verschiedenen Kennzahlen unterschiedlich definiert ist und deshalb Äpfel mit Birnen verglichen werden. Eine weitere Ursache könnte auch sein, dass die Aufbereitung der…