Big Data Integration Framework

Big Data Integration Framework

Big Data Integration Framework 2018-04-25T08:54:36+00:00

Die Herausforderungen bei der Umsetzung von Big Data Projekten sind vielfältig.

Bevor sich Data Analysts und Data Scientists der Aufgabe annehmen können, tiefe Einblicke in die vorhandenen Daten zu gewinnen, verbringen sie die meiste Zeit mit Data Ingestion und Data Integration.

ADASTRA unterstützt Ihr Unternehmen daher mit verschiedenen Lösungen für die Herausforderungen in den Bereichen Data Ingestion und Data Integration:

ADASTRA Hadoop Ingestion (AHI) Framework

ADASTRA Big Data Integration (ABDI) Framework

ADASTRA Hadoop Ingestion Framework

Das ADASTRA Hadoop Ingestion Framework (AHI) bietet einen automatisierten, Metadaten-getriebenen, konfigurierbaren, agilen und einfachen Weg, Daten in Hadoop zu integrieren.

Dabei deckt das AHI alle notwendigen Bereiche ab:

  • Administation & Konfiguration
  • Data Collection Channels
  • Data Consumption
  • Grundlegende Anforderungen
  • Operationales Reporting

Modell:

ADASTRA Big Data Integration Framework

Das ADASTRA Big Data Integration (BDI) Framework liefert die Basis für unsere Arbeit und ermöglicht es uns, ein umfassendes, unternehmensweites Verständnis für optimale BDI Lösungen zu erlangen. Dabei ist das Framework unabhängig von Data- und ETL-Plattformen.

ADASTRA Big Data Integration Framework – Benefits

  • Kosteneffiziente, schnelle und flexible Entwicklungs- sowie Testing-Phase
  • Entwickler mit businessorientierten Skills, Knowhow und Effizienz
  • Optimiertes Time-to-Market und Vorteile durch „Quick-Wins“
  • Kosteneffektive Infrastruktur
  • Effiziente Bedienung und geringe Kosten für alle „Support Level“
  • Trust for Downstream Interfaces
  • Stabile Umgebung, geringe SLAs
  • Klar definierte Verantwortlichkeiten und ein guter „Governance Prozess“

ADASTRA Big Data Integration Framework – Keyfeatures

  • Umfassendes Metadata-Modell für statisch und dynamisch operationale Metadaten
  • Einsetzbar für „klassische“ RDBMS-basierte Data Warehouses, Data Marts sowie Hadoop Cluster-basierte Data Lakes
  • Problemlos in Richtung Cloud-Services erweiterbar
  • Starker Fokus auf Reusability der Komponenten
  • Logging und Audit Trail
  • Höchst performante ETL-Prozesse
  • ETL-Templates für führende BDI-Tools
  • Vereinheitlichter, kostenoptimierter Maintenance-Prozess
  • Restart-Fähigkeit
  • Verwendung modernster Database-Features, wie beispielsweise Partitioning, Storage-Optimization auf Hadoop (Hive), um optimale Performance zu gewährleisten
  • Innovative Automatic-View Generierung für den Downstream, Data Consuming Systems/Users
  • Optionales Data Quality Management & Monitoring Funktionen
  • Data Lineage
  • Automatische ETL Code-Generierung
  • QA Framework, das eine Testing-Automation bietet

Modell: