Data Quality Framework

Data Quality Framework

Data Quality Framework 2018-04-04T11:42:40+00:00

Die Überwachung der Datenqualität ist ein wesentlicher Bestandteil von DWH Applikationen. Bei der Wahl des hierfür zu verwendenden Systems kann entweder auf bewährte DQ Softwareprodukte gesetzt werden, oder selbst eine Anwendung entwickelt werden, die den Anforderungen gerecht wird.

Die Beraterinnen und Berater von ADASTRA verfügen über die Erfahrung und Fähigkeiten, beide Lösungen erfolgreich umzusetzen. Durch eine Investition in die Entwicklung einer maßgeschneiderten Lösung auf Grundlage des ADASTRA DQ-Konzepts, können hohe Lizenzkosten vermieden werden.

Das ADASTRA DQ-Konzept beinhaltet eine Reihe von Datenbankobjekten, die im gleichen Schema wie die DWH Applikation implementiert sind:

Mehr

  • statische Metadatentabellen, in denen u.a. die DQ Regeln hinterlegt sind
  • ein PLSQL Package mit diversen Prozeduren, über die die DQ Prüfungen ausgeführt werden
  • dynamische Metadaten- und Ergebnistabellen, welche zum Monitoring der DQ Läufe und als Quelle für weitere Reporting Tools dienen

Die Anwendung integriert flexibel Regeln, die lokal definiert oder von der Holding vorgegeben werden. Sie ist in der Lage, die verschiedenen Dimensionen der Datenqualität zu untersuchen:

Mehr

  • Vollständigkeit (z.B. Checksum und NULL-Wert Prüfungen)
  • Konsistenz (Logische Integrität zwischen verwandten Attributen)
  • Validität (Datenbestände sind fachlich plausibel)
  • Integrität (Beziehungen zwischen Entitäten sind korrekt)
  • Redundanzfreiheit (Keine Dubletten und korrekte Schlüsseldefinition)
  • Konformität (z.B. Prüfungen von Wertebereichen)

Bei den DQ-Regeln kann es sich um generische oder individuelle Prüfungen handeln. Insgesamt gibt es ein Set von ca. 900 Prüfungen, bei denen vereinzelte Regeln auf mehr als 100 Attribute angewandt werden und andere Regeln nur einzelne Attribute betreffen.

Im täglichen Betrieb findet ein DQ-Lauf nach jeder Neuberechnung der DWH Applikation statt und bietet damit ein unmittelbares Feedback auf neue Daten. Der DQ-Lauf beinhaltet alle Regeln, die aktiv geschaltet sind. Mit geringem Aufwand können in Test-Phasen die DQ-Regeln aber auch einzeln ausgeführt werden.

Die Integration des DQ-Konzepts in die Umgebung der DWH Applikation ermöglicht hohe Flexibilität beim Einsatz von Front-End Reporting Tools. Je nachdem, wie technisch geschult die Nutzer der DQ Berichte sind, können die Ergebnisse über die Datenbank oder in gängigen Produkten wie Excel-Spreadsheets oder SAP Business Objects abgebildet werden.

Zu den großen Vorteilen der hausgemachten DQ-Anwendung zählen, neben den geringeren Initialkosten, die Anbindung des DQ-Konzepts an die DWH Technologie. Dies garantiert einen parallelen Lebenszyklus der Produkte. Zudem können für die Wartung und den Betrieb die gleichen Ressourcen verwendet werden, was im Fall von fremder Software häufig nicht möglich ist.