Kategorie: Werkzeuge
-
Eine Powershell-Funktion für Postgres-SQL-Zugriffe
Wer Aufgaben am Computer automatisieren will, der braucht Programme. Oder er verwendet eine Skript-Sprache, die auf seinem Computer funktioniert. Je nach Betriebssystem sind das dann unterschiedliche Skript-Sprachen: Will man seine Skripte möglichst flexibel für unterschiedliche Betriebssysteme bereitstellen, dann kann man sie als Powershell-Skripte schreiben, da man die Powershell auf Windows- und Unix-Betriebssystemen installieren kann. Nachdem…
-
dv2gen-maven-plugin
Ein Maven-Plugin um ein DataVault2.0-DataWarehouse aus einer XML-Konfiguration zu erzeugen. Motivation Ein Data Vault 2.0 Data Warehouse besteht aus vielen Datenbankartefakten, die auf konsistente Art definiert sein müssen. Außerdem müssen die Skripte zum Laden der Daten automatisiert werden. Eine Möglichkeit diese Ziele zu erreichen ist es, dbt als Datenbank-Tool zu verwenden und AutomateDV um die…
-
Wie man aus Java einfach auf XML-Daten zugreift
Die Aufgabe In meinem Java-Programm zur IBAN-Prüfung wird bei deutschen IBANs auch geprüft, ob die Bankleitzahl (BLZ) gültig ist und welche Prüfzifferberechnungsmethode (PZBM) für die Kontonummern der Bank verwendet werden soll. In der ersten Version meines Programms habe ich diese Informationen über einen SQL-Zugriff in eine Postgres-Datenbank ermittelt. Das ist zwar einfach zu programmieren, es…
-
IBAN-Prüfung
Vor ca. drei Wochen erzählte ich einem ehemaligen Kollegen von unserem Projekt, einen Service zu implementieren, mit dem man Bankleitzahlen überprüfen kann. Daraufhin sagte er zu mir sinngemäß etwa folgendes: „Wofür braucht man denn so einen Service, kann das nicht jede IBAN-Prüfung auch leisten?“ Das hat mich ins Grübeln gebracht. Natürlich hatte mein Kollege recht.…
-
Bankleitzahlen as a Service
Bankleitzahlen dienen zur Identifikation von Banken in Deutschland. Federführend für die Verwaltung der Bankleitzahlen ist die Deutsche Bundesbank. Die Deutsche Bundesbank veröffentlicht alle drei Monate die Bankleitzahlendatei, in der die Informationen zu den aktuellen Bankleitzahlen enthalten sind. Eine Beschreibung dieser Bankleitzahlendatei findet man im „Merkblatt Bankleitzahlendatei“, das auf der Bundesbank-Seite zu Bankleitzahlen verlinkt ist: https://www.bundesbank.de/de/aufgaben/unbarer-zahlungsverkehr/serviceangebot/bankleitzahlen.…
-
DRY and CoC
Don’t repeat yourself Dieser Satz ist die Quintessenz des „DRY Principle of Software Development“. Eine Beschreibung dazu gibt es hier bei Wikipedia. Es geht dabei darum, dass man in einem System den gleichen Code nicht mehrfach schreibt, sondern, dass es eine Stelle gibt, an der der Code steht und dieser Code im System immer wieder…
-
GenRawVault: wie man aus einer Steuerdatei ein ganzes DWH generieren kann
In meinem letzten Beitrag Willibald-Data: Übernahme der Kunden ins Data Warehouse habe ich am Beispiel der Schnittstelle für Kundendaten aus der Willibald Challenge beschrieben, wie diese mit Hilfe von dbt und dem dbt-Plugin AutomateDV in den Raw Vault des Data Warehouse übernommen werden können. Und schon in meinem Beitrag Die Kraft der Abstraktion habe ich…
-
Willibald-Data: Übernahme der Kunden ins Data Warehouse
In diesem Beitrag möchte ich, wie zuvor bereits angekündigt, ins Detail gehen und zeigen, wie wir die Daten von Willibald in das DWH übernehmen. Der erste Schritt der Übernahme ins DWH ist das Exportieren der Daten aus dem operativen System von Willibald in die CSV-Dateien. Dieser Schritt wird hier nicht beschrieben. Die CSV-Dateien der Schnittstellen…
-
Beispieldaten für ein Data Warehouse
Um ein Data Warehouse aufzubauen und seine Funktionalität zu zeigen, benötigt man einen Datenbestand, der sich über die Zeit ändert. Ich habe mich lange gefragt, was für einen Datenbestand man dafür verwenden könnte. Die Daten sollten sinnvoll und frei verfügbar sein. Eine erste Idee war, die Strommarktdaten von Deutschland zu verwenden, die von der Bundesnetzagentur…
-
Die Kraft der Abstraktion
In den letzten Artikeln, die ich hier veröffentlicht habe, ging es immer auch darum, wie man die Wirklichkeit betrachtet. Welche Strukturen legt man über die wirklichen Dinge, die man beobachtet, um Gemeinsamkeiten oder Unterschiede zwischen den beobachteten Dingen zu erkennen? Welche Muster glaubt man zu erkennen? Was ist der Vorteil davon, wenn man ein vereinfachendes…